目錄
互信息
編輯在概率論和信息論中,兩個隨機變量的互信息(MI)是衡量兩個變量之間相互依賴程度的指標。 更具體地說,它量化了通過觀察另一個隨機變量獲得的關于一個隨機變量的信息量(以香農(位)、nats 或 hartleys 等單位)。 互信息的概念與隨機變量的熵密切相關,這是信息論中的一個基本概念,用于量化隨機變量中包含的預期信息量。
不限于實值隨機變量和相關系數等線性相關性,MI 更通用, MI 是逐點互信息 (PMI) 的期望值。
克勞德·香農 (Claude Shannon) 在其具有里程碑意義的論文《通信的數學理論》中定義和分析了該量,盡管他并未將其稱為互信息。 這個詞后來由羅伯特·法諾創造。 互信息也稱為信息增益。
定義
編輯請注意,根據 Kullback–Leibler 散度的性質,當聯合分布與邊際的乘積重合時
如果取自然對數,互信息的單位就是nat。 如果使用log base 2,則互信息的單位是shannon,也稱為比特。 如果使用 log base 10,則互信息的單位是 hartley,也稱為 ban 或 dit。
關于連續分發的 PDF
在聯合連續隨機變量的情況下,雙和由雙積分代替
動機
編輯直觀上,互信息衡量 X? 和 Y共享的信息:它衡量了解其中一個變量在多大程度上減少了對另一個變量的不確定性。
互信息是聯合分布中表達的內在依賴性的度量。
內容由匿名用戶提供,本內容不代表www.gelinmeiz.com立場,內容投訴舉報請聯系www.gelinmeiz.com客服。如若轉載,請注明出處:http://www.gelinmeiz.com/193707/