在信息論中，聯合熵是與一組變量相關的不確定性的度量。

兩個離散隨機變量 X {\displaystyle X} 和 Y {\displaystyle Y} 與圖像 X {\displaystyle {\mathcal {X}}} 和 Y {\displaystyle {\mathcal {Y}}} 定義為

（等式 1）

其中 x {\displaystyle x} 和 y {\displaystyle y} 分別是 X {\displaystyle X} 和 Y {\displaystyle Y} 的特定值，P ( x , y ) {\displaystyle P( x,y)} 是這些值一起出現的聯合概率，P ( x , y ) log 2 ? [ P ( x , y ) ] {\displaystyle P(x,y)\log _{2} 如果 P ( x , y ) = 0 {\displaystyle P(x,y)=0} ，[P(x,y)]} 被定義為 0。

對于兩個以上的隨機變量 X 1 , . . . , X n {\displaystyle X_{1},...,X_{n}} 這擴展為

（等式 2）

其中 x 1 , . . . , x n {\displaystyle x_{1},...,x_{n}} 是 X 1 , 的特定值。 . . , X n {\displaystyle X_{1},...,X_{n}} ，分別為 P ( x 1 , . . . , x n ) {\displaystyle P(x_{1},..., x_{n})} 是這些值一起出現的概率，P ( x 1 , . . . , x n ) log 2 ? [ P ( x 1 , . . . , x n ) ] {\displaystyle P(x_ 如果 P ( x 1 , . . . , x n ) = 0 {\displaystyle P(x_{1},...,x_{n})=0} .

一組隨機變量的聯合熵是一個非負數。

H ( X , Y ) ≥ 0 {\displaystyle \mathrm {H} (X,Y)\geq 0}H ( X 1 , … , X n ) ≥ 0 {\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\geq 0}

一組變量的聯合熵大于或等于該集合中變量的所有單個熵的xxx值。

H ( X , Y ) ≥ max [ H ( X ) , H ( Y ) ] {\displaystyle \mathrm {H} (X,Y)\geq \max \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}H ( X 1 , … , X n ) ≥ max 1 ≤ i ≤ n { H ( X i ) } {\displaystyle \mathrm { H} {\bigl (}X_{1},\ldots ,X_{n}{\bigr )}\geq \max _{1\leq i\leq n}{\Bigl {}\mathrm {H} {\bigl (}X_{i}{\bigr )}{\Bigr \}}}

一組變量的聯合熵小于或等于該集合中變量的個體熵之和。 這是次可加性的一個例子。 當且僅當 X {\displaystyle X} 和 Y {\displaystyle Y} 在統計上獨立時，這個不等式才是等式。

H ( X , Y ) ≤ H ( X ) + H ( Y ) {\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}H ( X 1 , … , X n ) ≤ H ( X 1 ) + … + H ( X n ) {\displaystyle \mathrm {H} (X_{1},\ldots ,X_{ n})\leq \mathrm {H} (X_{1})+\ldots +\mathrm {H} (X_{n})}

條件熵的定義中使用了聯合熵

H ( X | Y ) = H ( X , Y ) ? H ( Y ) {\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm { H} (Y)\,} ,

和 H ( X 1 , … , X n ) = ∑ k = 1 n H ( X k | X k ? 1 , … , X 1 ) {\displaystyle \mathrm {H} (X_{1},\ dots ,X_{n})=\sum _{k=1}{n}\mathrm {H} (X_{k}|X_{k-1},\dots ,X_{1})} 它 也用于互信息的定義

I ? ( X ; Y ) = H ( X ) + H ( Y ) ? H ( X , Y ) {\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (X)+ \mathrm {H} (Y)-\mathrm {H} (X,Y)\,}

在量子信息論中，聯合熵被推廣為聯合量子熵。

上述定義適用于離散隨機變量，在連續隨機變量的情況下同樣有效。 離散聯合熵的連續版本稱為聯合微分（或連續）熵。 設 X {\displaystyle X} 和 Y {\displaystyle Y} 是具有聯合概率密度函數 f ( x , y ) {\displaystyle f(x,y)} 的連續隨機變量。 微分聯合熵 h ( X , Y ) {\displaystyle h(X,Y)} 定義為

（等式 3）

對于兩個以上的連續隨機變量 X 1 , . . . , X n {\displaystyle X_{1},...,X_{n}} 的定義概括為：

(等式4)

積分接管 f {\displaystyle f} 的支持。 有可能積分不存在，在這種情況下我們說微分熵沒有定義。

在離散情況下，一組隨機變量的聯合微分熵小于或等于各個隨機變量的熵之和：

h ( X 1 , X 2 , … , X n ) ≤ ∑ i = 1 n h ( X i ) {\displaystyle h(X_{1},X_{2},\ldots ,X_{n})\ leq \sum _{i=1}{n}h(X_{i})}

以下鏈式規則適用于兩個隨機變量：

h ( X , Y ) = h ( X | Y ) + h ( Y ) {\displaystyle h(X,Y)=h(X|Y)+h(Y)}

在超過兩個隨機變量的情況下，這概括為：

h ( X 1 , X 2 , … , X n ) = ∑ i = 1 n h ( X i | X 1 , X 2 , … , X i ? 1 ) {\displaystyle h(X_{1},X_{2 },\ldots ,X_{n})=\sum _{i=1}{n}h(X_{i}|X_{1},X_{2},\ldots ,X_{i-1 })}。