高速公路網絡
編輯在機器學習中，高速公路網絡是xxx個工作的非常深的前饋神經網絡，有數百個層，比以前的人工神經網絡深得多。它使用由學習的門控機制調制的跳過連接來調節信息流，靈感來自長短期記憶（LSTM）遞歸神經網絡。高速公路網絡比普通深層神經網絡的優勢在于，它解決或部分防止梯度消失問題，從而導致神經網絡更容易優化。門控機制有利于信息在許多層（信息高速公路）之間流動。高速公路網絡已經被用作文本序列標簽和語音識別任務的一部分。一個名為Residual神經網絡的開放門控或無門控的高速公路網絡變體被用來贏得ImageNet2015競賽。這已經成為21世紀被引用最多的神經網絡。
高速公路網絡的模型
編輯除了H(WH,x)門之外，該模型還有兩個門：轉換門T(WT,x)和攜帶門C(WC,x)。最后這兩個門是非線性傳遞函數（按慣例是Sigmoid函數）。H(WH,x)函數可以是任何想要的傳遞函數。載波門被定義為C(WC,x)=1-T(WT,x)。而轉換門只是一個具有sigmoid傳遞函數的門。
高速公路網絡的結構
編輯隱蔽層的結構遵循以下公式。{displaystyle{begin{aligned}y=H(x,W_{H})centerdotT(x,W_{T})+xcenterdotC(x,W_{C})=H(x,W_{H})centerdotT(x,W_{T})+xcenterdot（1-T(x,W_{T})）end{aligned}}.
內容由匿名用戶提供，本內容不代表www.gelinmeiz.com立場，內容投訴舉報請聯系www.gelinmeiz.com客服。如若轉載，請注明出處：http://www.gelinmeiz.com/175676/