貝葉斯網絡是一種建模工具，用于為事件分配概率，從而描述模型預測的不確定性。深度學習和人工神經網絡是機器學習中用來建立計算模型的方法，這些模型從訓練實例中學習。貝葉斯神經網絡合并了這些領域。它們是一種人工神經網絡，其參數和預測都是概率性的。雖然標準的人工神經網絡經常對不正確的預測也賦予高置信度，但貝葉斯神經網絡可以更準確地評估其預測的正確性。神經網絡高斯過程（NNGPs）在一個特定的極限中等同于貝葉斯神經網絡，并提供了一種封閉式的方法來評估貝葉斯神經網絡。它們是一種高斯過程概率分布，描述了相應貝葉斯神經網絡所做預測的分布。人工神經網絡的計算通常被組織成人工神經元的順序層。一層中的神經元數量被稱為層寬。當貝葉斯神經網絡中的層變得無限寬時，NNGP和貝葉斯神經網絡之間的等價關系就出現了（見圖）。這個大的寬度限制是有實際意義的，因為有限寬度的神經網絡通常會隨著層寬的增加而嚴格地表現得更好。NNGP還出現在其他幾個場合：它描述了寬的非貝葉斯人工神經網絡在隨機初始化其參數后，但在訓練前所做的預測的分布；它作為一個術語出現在神經切線核預測方程中；它被用于深度信息傳播，以描述超參數和架構是否可訓練。它與神經網絡的其他大寬度極限有關。

每一個神經網絡的參數設置{displaystylep(theta)}對應于神經網絡參數的先驗分布p(θ)因此，關于神經網絡參數的先驗分布對應于由網絡計算的函數的先驗分布。由于神經網絡是無限寬的，對于許多架構來說，這種對函數的分布會收斂為高斯過程。在參數空間中的分布，而黑點是這個分布的樣本。對于無限寬的神經網絡，由于神經網絡計算的函數分布是一個高斯過程，對于任何有限的網絡輸入集合，網絡輸出的聯合分布是一個多變量的高斯。本節中使用的符號與下文推導NNGP和全連接網絡之間的對應關系時使用的符號相同，更多細節可在那里找到。

無限寬的貝葉斯神經網絡和NNGP之間的等價關系已被證明適用于：單隱層和深度全連接網絡，因為每層的單元數被認為是無限的；卷積神經網絡，因為通道數被認為是無限的；變壓器網絡，因為注意頭數被認為是無限的；遞歸網絡，因為單元數被認為是無限的。事實上，這種NNGP對應關系幾乎對任何架構都成立。

一般來說，如果一個架構可以完全通過矩陣乘法和協調非線性來表達（即張量程序），那么它就有一個無限寬的GP。這尤其包括所有由多層感知器、遞歸神經網絡（如LSTM、GRU）、（nD或圖）卷積、集合、跳過連接、注意、批量規范化和/或層規范化組成的前饋或遞歸神經網絡。

本節針對全連接結構的具體情況，對無限寬的神經網絡和高斯過程之間的對應關系進行了擴展。它提供了一個證明草圖，概述了該對應關系成立的原因，并介紹了sp