在信息論中，條件熵量化描述隨機變量 Y {\displaystyle Y} 的結果所需的信息量，前提是另一個隨機變量 X {\displaystyle X} 的值已知。 在這里，信息以香農、納特或哈特利來衡量。

給定 X {\displaystyle X} 的 Y {\displaystyle Y} 的條件熵定義為

（等式 1）

其中 X {\displaystyle {\mathcal {X}}} 和 Y {\displaystyle {\mathcal {Y}}} 表示 X {\displaystyle X} 和 Y {\displaystyle Y} 的支持集 .

注意：這里的約定是表達式 0 log ? 0 {\displaystyle 0\log 0} 應該被視為等于零。

令 H ( Y | X = x ) {\displaystyle \mathrm {H} (Y|X=x)} 為以離散隨機變量 X { 為條件的離散隨機變量