拉格朗日乘數

在數學優化中，拉格朗日乘數 s 方法是一種尋找函數的局部xxx值和最小值的策略，該函數受等式約束（即，受一個或多個方程必須完全滿足的條件的約束） 變量的選定值）。 它以數學家約瑟夫-路易斯·拉格朗日的名字命名。 基本思想是將約束問題轉換為一種形式，使得仍然可以應用無約束問題的導數檢驗。 函數梯度和約束梯度之間的關系很自然地導致對原始問題的重新表述，稱為拉格朗日函數。

并找到 L {\displaystyle {\mathcal {L}}} 的固定點，將其視為 x {\displaystyle x} 和拉格朗日乘數 λ {\displaystyle \lambda } 的函數； 這意味著所有偏導數都應該為零，包括關于 λ {\displaystyle \lambda } 的偏導數。 原始約束優化對應的解始終是拉格朗日函數的鞍點，可以根據帶邊海森矩陣的確定性在駐點中識別。

這種方法的xxx優點是它允許在不根據約束進行顯式參數化的情況下解決優化問題。 因此，拉格朗日乘數的方法被廣泛用于解決具有挑戰性的約束優化問題。

以下被稱為拉格朗日乘數定理。

拉格朗日乘數定理指出，在等式約束下計算的函數的任何局部xxx值（或最小值）處，如果約束條件適用（在下面解釋），則函數的梯度（在該點）可以表示 作為約束梯度（在該點）的線性組合，拉格朗日乘數作為系數。 這相當于說任何垂直于約束的所有梯度的方向也垂直于函數的梯度。 或者仍然說函數的方向導數在每個可行方向上都為 0。

對于只有一個約束和兩個選擇變量的情況

（有時加法常量單獨顯示而不是包含在 g {\displaystyle g} 中，在這種情況下約束寫為 g ( x , y ) = c {\displaystyle g(x,y)=c} ， 如圖 1 所示。）我們假設 f {\displaystyle f} 和 g {\displaystyle g} 都具有連續的一階偏導數。

我們引入一個新變量 ( λ {\displaystyle \lambda } ) 稱為拉格朗日乘數（或拉格朗日未定乘數）并研究由定義的拉格朗日函數（或拉格朗日或拉格朗日表達式）

其中可以添加或減去 λ {\displaystyle \lambda } 項。