在數理統計中，相對熵（也稱為相對熵和 I-散度），表示為 D KL ( P ∥ Q ) {\displaystyle D_{\text{KL}}(P\parallel Q)} ，是一個 統計距離的類型：衡量一個概率分布 P 與第二個參考概率分布 Q 的不同之處。P 與 Q 的 KL 散度的簡單解釋是當實際分布時使用 Q 作為模型的預期過度驚喜 是 P。雖然它是一個距離，但它不是度量，最熟悉的距離類型：它在兩個分布中不對稱（與信息的變化相反），并且不滿足三角不等式。 相反，就信息幾何而言，它是一種散度，是平方距離的推廣，并且對于某些類別的分布（特別是指數族），它滿足廣義勾股定理（適用于平方距離）。

在簡單情況下，相對熵為 0 表示所討論的兩個分布具有相同數量的信息。 相對熵是兩個分布或度量的非負函數。 它在理論上有多種應用，例如表征信息系統中的相對（香農）熵、連續時間序列中的隨機性以及比較推理統計模型時的信息增益； 和實踐，如應用統計學、流體力學、神經科學和生物信息學。

考慮兩個概率分布 P {\displaystyle P} 和 Q {\displaystyle Q} 。 通常，P {\displaystyle P} 表示數據、觀察值或測量的概率分布。 分布 Q {\displaystyle Q} 代表 P {\displaystyle P} 的理論、模型、描述或近似。 然后，相對稀被解釋為使用為 Q {\displaystyle Q} 優化的代碼而不是為 P {\displaystyle P 優化的代碼對 P {\displaystyle P} 的樣本進行編碼所需的位數的平均差異 } 。 請注意，P {\displaystyle P} 和 Q {\displaystyle Q} 的角色在某些更容易計算的情況下可以顛倒，例如使用期望最大化（EM）算法和證據下限（ELBO） ）計算。

在 Kullback (1959) 中，對稱形式再次稱為散度，每個方向的相對熵稱為 作為兩個分布之間的定向分歧； Kullback 更喜歡術語歧視信息。 術語散度與距離（度量）相反，因為對稱散度不滿足三角不等式。 Kullback (1959, pp. 6–7, 1.3 Divergence) 中提供了大量關于早期使用對稱散度和其他統計距離的參考資料。 不對稱的定向散度已被稱為相干散度，而對稱的定向散度現在被稱為杰弗里斯散度。

對于在同一概率空間 X {\displaystyle {\mathcal {X}}} 上定義的離散概率分布 P {\displaystyle P} 和 Q {\displaystyle Q} ，來自 Q {\displaystyle Q} 到 P {\displaystyle P} 定義

換句話說，它是概率 P {\displaystyle P} 和 Q {\displaystyle Q} 之間的對數差的期望，其中期望是使用概率 P {\displaystyle P} 獲得的。

相對熵的定義僅當對于所有 x {\displaystyle x} , Q ( x ) = 0 {\displaystyle Q(x)=0} 意味著 P ( x ) = 0 {\displaystyle P(x)= 0}（xxx連續性）。