自動編碼器是一種監督式學習，它在三層神經網絡中的輸入層和輸出層使用相同的數據。這是反向傳播的特例。由于學習是通過反向傳播進行的，因此成為非線性優化問題。中間層和輸出層的激活功能可以任意選擇。當教師數據是真實值且沒有范圍時，通常選擇輸出層的激活功能作為身份映射（即，什么都沒有改變）。如果選擇中間層的激活功能作為身份映射，則結果與主成分分析幾乎相同。

稀疏自動編碼器（sparse autoencoder）是一種自動編碼器，它添加了正則化項，以提高學習前饋神經網絡的泛化能力。但是，代替網絡權重，中間層本身的值接近0。

神經網絡中間層有兩層或更多層深的神經網絡（英文：深神經網絡）并且被稱為，在反向傳播，在中間層是兩層或更多層，通常是不適當的局部最小值收斂到它不會工作。因此，當堆疊兩個或更多中間層時，首先僅創建一個中間層，然后刪除輸出層，將中間層視為輸入層，然后再堆疊一層。2006年，Jeffrey Hinton等人。

Jeffrey Hinton等人在2006年發表的論文中介紹了一個示例，其中圖像尺寸從2000→1000→500→30減小，恢復為30→500→1000→2000。

這是通過在輸入層的數據中添加噪聲來學習的。結果幾乎與約束Boltzmann機相同。如果概率分布已知，則xxx遵循噪聲，但如果未知，則噪聲可能是均勻分布。