在機器學習中，早期停止是一種正則化的形式，用于避免在用梯度下降等迭代方法訓練學習者時出現過度擬合。這種方法更新學習者，使其在每次迭代中更好地適應訓練數據。在一定程度上，這可以提高學習者在訓練集之外的數據上的表現。然而，過了這個點，提高學習者對訓練數據的擬合度是以增加泛化誤差為代價的。早期停止規則為學習者在開始過度擬合之前可以運行多少次迭代提供指導。早期停止規則已被用于許多不同的機器學習方法中，并具有不同的理論基礎。

本節介紹了描述早期停止方法所需的一些基本機器學習概念。

機器學習算法基于有限的訓練數據集來訓練一個模型。在這個訓練過程中，模型的評估是基于它對訓練集中的觀察結果的預測程度。然而，一般來說，機器學習方案的目標是產生一個具有普適性的模型，也就是說，預測以前未見過的觀察。當一個模型很好地適合訓練集中的數據，同時產生較大的泛化誤差時，就會出現過擬合。

在機器學習的背景下，正則化是指修改學習算法的過程，以防止過度擬合。這種平滑性可以通過固定模型中的參數數量來明確實施，也可以通過增加成本函數來實施，如Tikhonov正則化。Tikhonov正則化，以及主成分回歸和許多其他正則化方案，都屬于譜系正則化的范疇，正則化的特點是應用濾波器。早期止損也屬于這一類方法。

梯度下降法是一階、迭代、優化方法。每次迭代都是通過在目標函數梯度的負值方向邁出一步來更新優化問題的近似解。通過適當地選擇步長，這種方法可以收斂到目標函數的局部最小值。梯度下降法在機器學習中的應用是定義一個反映學習者在訓練集上的誤差的損失函數，然后使該函數最小化。

統計學習理論中的早期停止早期停止可以用來規范機器學習中遇到的非參數回歸問題。對于一個給定的輸入空間。{displaystyleZ=XtimesY}，這類問題的目標是近似回歸函數。，這類問題的目標是對回歸函數進行近似。近似回歸函數的一個常見選擇是使用再現核希爾伯特空間的函數。這些空間可以是無限維的，其中它們可以提供過度擬合任意大小的訓練集的解決方案。因此，正則化對這些方法特別重要。

對非參數回歸問題進行規范化的一種方法是對梯度下降等迭代程序應用早期停止規則。為這些問題提出的早期停止規則是基于對作為迭代次數函數的泛化誤差的上限分析。它們產生了可以在開始求解過程之前計算出的運行迭代次數的處方。例子。最小二乘法損失(改編自Yao,RosascoandCaponnetto,2007){displaystylef}是重現系數的成員。是再現核希爾伯特空間的一個成員{displaystyle{mathcal{H}}。.也就是說，最小化一個最小二乘損失函數的預期風險。由于{displaystyle{mathcal{E}}}取決于未知的概率度量。取決于未知的概率度量