微分熵（也稱為連續熵）是信息論中的一個概念，離散熵的實際連續版本是離散點的極限密度 (LDDP)。 微分熵（此處描述）在文獻中很常見，但它是 LDDP 的極限情況，并且失去了與離散熵的基本聯系。

在測度論方面，概率測度的微分熵是從該測度到勒貝格測度的負相對熵，后者被視為概率測度，盡管未歸一化。

設 X {\displaystyle X} 是一個概率密度函數為 f {\displaystyle f} 的隨機變量，它的支持是一個集合 X {\displaystyle {\mathcal {X}}} 。

對于沒有顯式密度函數表達式但具有顯式分位數函數表達式的概率分布

與其離散模擬一樣，微分熵的單位取決于對數的底數，通常為 2（即單位為位）。 不同底數的對數見對數單位。 聯合、條件微分熵和相對熵等相關概念以類似的方式定義。 與離散模擬不同，微分熵有一個偏移量，該偏移量取決于用于測量 X {\displaystyle X} 的單位。 例如，以毫米為單位測量的量的微分熵將比以米為單位測量的相同量多 log(1000)； 無量綱量的微分熵 log(1000) 大于相同量除以 1000。

在嘗試將離散熵的性質應用于微分熵時必須小心，因為概率密度函數可以大于 1。

請注意，連續互信息 I ( X ; Y ) {\displaystyle I(X;Y)} 具有保留其作為離散信息度量的基本意義的區別，因為它實際上是分區的離散互信息的極限 X {\displaystyle X} 和 Y {\displaystyle Y} 隨著這些分區變得越來越精細。 因此它在非線性同胚（連續且xxx可逆映射）下是不變的，包括 X {\displaystyle X} 和 Y {\displaystyle Y} 的線性變換，并且仍然表示可以傳輸的離散信息量 一個接納連續價值空間的渠道。

對于擴展到連續空間的離散熵的直接模擬，請參見離散點的極限密度。

• 對于概率密度 f {\displaystyle f} 和 g {\displaystyle g} ，Kullback–Leibler 散度 D K L ( f | | g ) {\displaystyle D_{KL}(f||g)} 是 只有當 f = g {\displaystyle f=g} 幾乎所有地方都大于或等于 0 且相等。
• 微分熵的鏈式法則在離散情況下成立