在機器學習中，超參數優化或調整是為學習算法選擇一組最佳的超參數的問題。超參數是一個參數，其值被用來控制學習過程。相比之下，其他參數（通常是節點權重）的值是學習的。同一種機器學習模型可能需要不同的約束條件、權重或學習率來概括不同的數據模式。這些措施被稱為超參數，必須進行調整，以便模型能夠最佳地解決機器學習問題。超參數優化找到一個超參數的元組，產生一個最佳的模型，使給定的獨立數據上的預定損失函數最小。目標函數采用一個超參數的元組，并返回相關的損失。交叉驗證通常被用來估計這種泛化性能。

執行超參數優化的傳統方法是網格搜索或參數掃描，這只是在學習算法的超參數空間的手動指定子集中進行詳盡的搜索。網格搜索算法必須由一些性能指標來指導，通常由訓練集上的交叉驗證或保留驗證集上的評估來衡量。由于機器學習者的參數空間可能包括某些參數的實值或無界值空間，在應用網格搜索之前，可能需要手動設置界限和離散化。例如，一個典型的配有RBF核的軟邊緣SVM分類器至少有兩個超參數需要調整，以便在未見過的數據上有好的表現：正則化常數C和核超參數γ。然后，網格搜索用這兩個集合的笛卡爾積中的每一對（C，γ）訓練一個SVM，并在一個保留的驗證集上評估它們的性能（或者通過訓練集的內部交叉驗證，在這種情況下，每對SVM被訓練多個）。最后，網格搜索算法輸出在驗證程序中獲得最高分的設置。網格搜索受到維度詛咒的影響，但由于它所評估的超參數設置通常是相互獨立的，所以往往是令人尷尬的平行。

隨機搜索通過隨機選擇取代了對所有組合的詳盡列舉。這可以簡單地應用于上述的離散設置，但也可以推廣到連續和混合空間。它可以勝過網格搜索，特別是當只有少量的超參數影響到機器學習算法的最終性能。在這種情況下，據說優化問題的內在維度很低。隨機搜索也是令人尷尬的并行，另外還允許通過指定取樣的分布來納入先驗知識。盡管它很簡單，但隨機搜索仍然是比較新的超參數優化方法性能的重要基準線之一。

貝葉斯優化是一種針對噪聲黑箱函數的全局優化方法。應用于超參數優化，貝葉斯優化建立了一個從超參數值到目標的函數映射的概率模型，在驗證集上評估。通過反復評估基于當前模型的有希望的超參數配置，然后對其進行更新，貝葉斯優化的目的是收集觀察結果，揭示關于該函數的盡可能多的信息，特別是最佳位置。

它試圖平衡探索（結果最不確定的超參數）和利用（預期接近最優的超參數）。在實踐中，貝葉斯優化已被證明與網格搜索和隨機搜索相比，能在較少的評估中獲得更好的結果，這是因為它能夠在實驗運行前對實驗的質量進行推理。

對于特定的學習算法，可以計算相對于超參數的梯度，然后用梯度下降法優化超參數。這些技術的首次使用集中在神經網絡上。此后，這些方法被擴展到其他模型，如支持向量機或邏輯回歸。為了獲得與超參數有關的梯度，一種不同的方法包括使用自動微分來區分迭代優化算法的步驟。沿著這個方向，最近的一項工作是使用im