神經風格轉移

神經風格轉移（NST）指的是一類軟件算法，它操縱數字圖像或視頻，以采用另一圖像的外觀或視覺風格。NST算法的特點是使用深度神經網絡來進行圖像轉換。NST的常見用途是從照片中創造人工藝術品，例如將名畫的外觀轉移到用戶提供的照片上。

NST是圖像風格化的一個例子，這個問題在非逼真渲染領域研究了20多年。最早的兩種基于實例的風格轉移算法是圖像類比和圖像拼接。這兩種方法都是基于基于補丁的紋理合成算法。給出一對訓練圖像--照片和描繪該照片的藝術品--可以學習轉換，然后通過類比，應用于從新的照片中創造新的藝術品。如果沒有訓練照片，就需要通過處理輸入的藝術品來產生；圖像絎縫不需要這個處理步驟，盡管它只在一種風格上演示。

NST的過程假設一個輸入圖像被送入CNN，網絡激活在VGG-19架構的后期卷積層被采樣。通過CNN輸入，網絡激活在VGG-19架構的后期卷積層中被采樣。讓{displaystyleC(p)}是產生的輸出樣本，稱為"內容"。是產生的輸出樣本，稱為輸入的"內容然后被送入同一個CNN，在CNN的早期和中期層對網絡激活進行采樣。

這些激活被編碼為一個格拉姆矩陣表示，稱之為{displaystylex}是通過在輸入圖像中加入少量的白噪聲來實現的。最初是通過向輸入圖像添加少量白噪聲來逼近的{displaystylep}中加入少量白噪聲，并通過CNN并通過CNN進行反饋。然后，我們在CNN權重固定的情況下，通過網絡連續反向傳播這一損失，以更新x的像素。算法通常在GPU上實現，因此訓練只需幾分鐘時間。

NST也被擴展到視頻。隨后的工作提高了NST對圖像的速度。