遞歸神經網絡
編輯遞歸神經網絡是一種深度神經網絡,通過在結構化輸入上遞歸應用同一組權重,在可變大小的輸入結構上產生結構化預測,或在其上產生標量預測,按拓撲順序遍歷一個給定的結構。遞歸神經網絡,有時縮寫為RvNNs,已經成功地在自然語言處理中學習序列和樹狀結構,主要是基于單詞嵌入的短語和句子連續表示。RvNN首先被引入學習結構的分布式表征,如邏輯術語。自20世紀90年代以來,模型和一般框架已經在進一步的工作中得到發展。
遞歸神經網絡的架構
編輯基本
在最簡單的架構中,節點使用整個網絡共享的權重矩陣和tanh這樣的非線性來組合成父節點。如果c1和c2是節點的n維向量表示,它們的父節點也將是一個n維向量,計算公式為這個架構,經過一些改進,已經被用于成功地解析自然場景、自然語言句子的句法解析,以及以立方體抽象的形式對三維形狀結構進行遞歸自動編碼和生成性建模。
遞歸級聯關聯(RecCC)
編輯RecCC是一種處理樹狀域的構造性神經網絡方法,在化學領域有開創性的應用,并擴展到有向無環圖。
無監督的RNN
編輯2004年,一個無監督的RNN框架被引入。
遞歸神經網絡的張量
編輯遞歸神經張量網絡對樹上的所有節點使用一個基于張量的組成函數。
遞歸神經網絡的訓練
編輯隨機梯度下降
通常,隨機梯度下降(SGD)被用來訓練網絡。梯度是通過結構反向傳播(BPTS)來計算的,這是一種用于循環神經網絡的時間反向傳播的變體。文獻中已經證明了RNN對樹的普遍近似能力。
相關模型
編輯遞歸神經網絡
遞歸神經網絡是具有一定結構的遞歸人工神經網絡:即線性鏈。遞歸神經網絡對任何層次結構進行操作,將子表征結合到父表征中,而遞歸神經網絡對時間的線性進展進行操作,將前一個時間步驟和一個隱藏表征結合到當前時間步驟的表征中。
樹形回聲狀態網絡
編輯在水庫計算范式中,樹形回聲狀態網絡給出了一種實現遞歸神經網絡的有效方法。
對圖的擴展
編輯對圖的擴展包括圖神經網絡(GNN)、圖神經網絡(NN4G),以及最近的圖卷積神經網絡。
內容由匿名用戶提供,本內容不代表www.gelinmeiz.com立場,內容投訴舉報請聯系www.gelinmeiz.com客服。如若轉載,請注明出處:http://www.gelinmeiz.com/176506/