核正則化的貝葉斯解釋

在機器學習的貝葉斯統計中，核方法產生于對輸入的內積空間或相似性結構的假設。對于一些這樣的方法，如支持向量機（SVMs），最初的表述及其正則化在本質上并不是貝葉斯的。從貝葉斯的角度來理解它們是有幫助的。因為核不一定是正半無限的，底層結構可能不是內積空間，而是更一般的再現核希爾伯特空間。在貝葉斯概率中，核方法是高斯過程的一個關鍵組成部分，其中核函數被稱為協方差函數。核方法傳統上被用于監督學習問題，其中輸入空間通常是一個矢量空間，而輸出空間是一個標量空間。最近，這些方法被擴展到處理多個輸出的問題上，如多任務學習。在再現核希爾伯特空間為有限維的情況下，很容易證明正則化和貝葉斯觀點之間的數學等價性。無限維的情況引起了微妙的數學問題；我們將在此考慮有限維的情況。我們首先簡要回顧了標量學習的核方法的主要思想，并簡要介紹了正則化和高斯過程的概念。然后，我們展示了這兩種觀點是如何得出本質上等價的估計值的，并展示了將它們聯系在一起的聯系。

經典的監督學習問題需要對一些新的輸入點的輸出進行估計{displaystylek(cdot,cdot)}，稱為核。稱為核，機器學習中最流行的估計器之一是由以下公式給出的{displaystyle{mathbf{Y}=[y_{1},ldots,y_{n}]{top}}。.我們將看到如何從正則化和貝葉斯的角度來推導這個估計器。正則化視角正則化視角的主要假設是，函數集的{displaystyle{mathcal{F}}的函數集合。｝被假定屬于一個再現核希爾伯特空間{displaystyle{mathcal{H}}_{k}}是由函數定義的希爾伯特空間。

是一個由對稱、正無限函數定義的函數的希爾伯特空間{displaystylek:{mathcal{X}}}times{mathcal{X}}rightarrow{mathbb{R}}被稱為再現核，這樣的函數被稱為再現核。稱為再現核，這樣的函數{displaystyle{mathbf{x}}的所有x∈Xin{mathcal{X}}..有三個主要屬性使RKHS具有吸引力。1.再現屬性，它賦予空間以名稱。{displaystyle|f|_{k}{2}=sum_{i,j}k(mathbf{x}_{i},mathbf{x}_{j})c_{i}c_{j}}。可以看作是衡量函數的復雜性。正則化函數估算器被導出為正則化函數的最小值{displaystylefin{mathcal{H}}_{k}}，而f∈Hk。{displaystyle||