集合平均法（機器學習）

在機器學習中，特別是在創建人工神經網絡的過程中，集合平均法是創建多個模型并將其結合起來以產生所需的輸出，而不是只創建一個模型。通常情況下，一個模型的組合比任何一個單獨的模型表現得更好，因為模型的各種誤差都被平均化了。

集合平均法是最簡單的委員會機器類型之一。它與提升法一起，是靜態委員會機器的兩個主要類型之一。與標準網絡設計不同的是，在標準網絡設計中，許多網絡被生成，但只保留一個，而集合平均法則將不太滿意的網絡保留下來，但權重較低。集合平均法的理論依賴于人工神經網絡的兩個特性。在任何網絡中，偏差可以以增加方差為代價來減少。在一組網絡中，方差可以在不影響偏差的情況下減少。集合平均法創建了一組網絡，每個網絡都具有低偏差和高方差，然后將它們組合成一個新的網絡，（希望是）低偏差和低方差。因此，它是對偏差-方差困境的一種解決。組合專家的想法可以追溯到皮埃爾-西蒙-拉普拉斯。

上面提到的理論給出了一個明顯的策略：創建一組具有低偏差和高方差的專家，然后對他們進行平均。一般來說，這意味著創建一組具有不同參數的專家；通常，這些參數是初始突觸權重，盡管其他因素（如學習率、動力等）也可以變化。一些作者建議不要改變權重的衰減和早期停止。因此，其步驟是產生N個專家，每個專家都有自己的初始值。分別訓練每個專家。合并專家并平均他們的值。或者，可以用領域知識來生成幾類專家。每一類中的一個專家被訓練，然后合并。

集合平均法的一個更復雜的版本認為最終結果不是所有專家的單純平均，而是一個加權的總和。如果每個專家都是是一組權重。尋找α的優化問題很容易通過神經網絡解決，因此可以訓練一個元網絡，其中每個神經元實際上是整個神經網絡，而最終網絡的突觸權重是應用于每個專家的權重。這就是所謂的專家的線性組合。

所產生的委員會幾乎總是比達到相同性能水平的單一網絡更少的復雜性所產生的委員會可以更容易地在較小的輸入集上進行訓練所產生的委員會往往比任何單一網絡的性能更強過度擬合的風險減少。