在數學中，梯度下降（通常也稱為最速下降）是一種一階迭代優化算法，用于尋找可微函數的局部最小值。 思路是在函數當前點的梯度（或近似梯度）的反方向重復走幾步，因為這是最速下降的方向。 相反，沿梯度方向步進將導致該函數的局部xxx值； 這個過程被稱為梯度上升。

梯度下降法一般歸因于奧古斯丁-路易斯柯西，他于1847年首先提出它。雅克阿達瑪在1907年獨立提出了類似的方法。它對非線性優化問題的收斂性質首先由Haskell Curry于1944年研究，用該方法 在接下來的幾十年中得到越來越多的研究和使用。

可以保證收斂到局部最小值。 當函數 F {\displaystyle F} 是凸函數時，所有的局部最小值也是全局最小值，所以在這種情況下梯度下降可以收斂到全局解。

相鄰圖片說明了此過程。 這里假設 F {\displaystyle F} 定義在平面上，其圖形呈碗狀。 藍色曲線是等高線，即 F {\displaystyle F} 的值恒定的區域。 起源于一點的紅色箭頭表示該點負梯度的方向。 請注意，某個點的（負）梯度與通過該點的等高線正交。 我們看到梯度下降將我們引向碗底，即函數 F {\displaystyle F} 的值最小的點。

梯度下降背后的基本直覺可以通過一個假設場景來說明。 一個人被困在山上并試圖下山（即試圖找到全局最小值）。 霧很大，能見度極低。 因此，下山的路徑是不可見的，所以他們必須利用本地信息來尋找最小值。 他們可以使用梯度下降法，即查看當前位置山坡的陡度，然后朝下降最陡的方向（即下坡）前進。