貝葉斯優化是一種對黑箱函數進行全局優化的順序設計策略，不承擔任何函數形式。它通常被用于優化昂貴的評價函數。

該術語一般歸功于JonasMockus，是他在20世紀70年代和80年代關于全局優化的一系列出版物中創造的。戰略貝葉斯優化通常用于以下形式的問題{textstylemathbb{R}{d},dleq20}），其成員資格很容易評估。)，并且其成員資格可以很容易地被評估。貝葉斯優化對于以下問題特別有利由于其計算成本而難以評估。的目標函數。{textstylef}，是連續的，并采取一些未知的結構形式，被稱為黑箱。是連續的，并采取一些未知結構的形式，被稱為黑盒子。在其評估時，只有由于目標函數是未知的，貝葉斯的策略是將其作為一個隨機函數，并在其上放置一個先驗。先驗捕捉了關于該函數行為的信念。在收集了被視為數據的函數評價后，先驗被更新以形成目標函數的后驗分布。反過來，后驗分布被用來構建一個獲取函數（通常也被稱為填充采樣標準），以確定下一個查詢點。有幾種方法可用于定義目標函數的先驗/后驗分布。最常見的兩種方法是在一種叫做克里金的方法中使用高斯過程。另一種成本較低的方法使用Parzen-TreeEstimator為"高"和"低"點構建兩個分布，然后找到使預期改進最大化的位置。標準貝葉斯優化依賴于每個是容易評估的，而偏離這一假設的問題被稱為異質貝葉斯優化問題。如果已知存在噪聲，評估是并行進行的，評估的質量依賴于難度和準確性之間的權衡，存在隨機的環境條件，或者評估涉及導數，那么優化問題就會變得很奇怪。

獲取函數的例子包括

預期改進貝葉斯預期損失信心上限（UCB）或信心下限湯普森采樣和這些的混合體。它們都對探索和利用進行了權衡，以便使函數查詢的數量最小化。因此，貝葉斯優化非常適用于評估成本較高的函數。

采集函數的xxx值通常是通過離散化或通過輔助優化器來找到的。采集函數通常是乖巧的，使用數值優化技術，如牛頓法或準牛頓法，如Broyden-Fletcher-Goldfarb-Shanno算法，可以實現xxx化。

該方法已被應用于解決廣泛的問題，包括學習排名、計算機圖形和視覺設計、機器人、傳感器網絡、自動算法配置、自動機器學習工具箱、強化學習、規劃、視覺注意力、深度學習中的架構配置、靜態程序分析、實驗粒子物理學、化學、材料設計和藥物開發。