率損失理論是信息論的一個主要分支，為有損數據壓縮提供了理論基礎； 它解決了確定每個符號的最小位數的問題，以速率 R 衡量，應該通過信道進行通信，以便可以在接收器（輸出信號）處近似地重建源（輸入信號）而不超過 預期失真 D.

率損失理論給出了使用有損壓縮方法可以實現多少壓縮的分析表達式。 許多現有的音頻、語音、圖像和視頻壓縮技術都具有變換、量化和比特率分配程序，這些程序利用了率失真函數的一般形狀。

率失真理論是由克勞德香農在他的信息論基礎工作中創建的。

在率失真理論中，率通常被理解為每個要存儲或傳輸的數據樣本的位數。 失真的概念是一個持續討論的主題。 在最簡單的情況下（大多數情況下實際使用），失真被定義為輸入和輸出信號之差的平方的期望值（即均方誤差）。 然而，由于我們知道大多數有損壓縮技術對人類消費者（聽音樂、看圖片和視頻）將感知到的數據進行操作，所以失真測量xxx以人類感知和美學為模型：很像概率的使用 在無損壓縮中，失真度量最終可以用貝葉斯估計和決策理論中使用的損失函數來識別。 在音頻壓縮中，感知模型（以及由此產生的感知失真測量）發展得相對較好，并經常用于 MP3 或 Vorbis 等壓縮技術，但通常不容易包含在率失真理論中。 在圖像和視頻壓縮中，人類感知模型還不太成熟，包含的內容主要限于 JPEG 和 MPEG 加權（量化、歸一化）矩陣。

失真函數測量用近似符號 x ^ {\displaystyle {\hat {x}}} 表示符號 x {\displaystyle x} 的成本。 典型的失真函數是漢明失真和平方誤差失真。

找到與速率和失真相關的函數作為以下最小化問題的解：

inf Q Y ‖ X ( y ‖ x ) I Q ( Y ; X ) 服從 D Q ≤ D ? 。 {\displaystyle \inf _{Q_{Y\mid X}(y\mid x)}I_{Q}(Y;X){\text{ subject to }}D_{Q}\leq D{*}.}

這里 Q Y ‖ X ( y ‖ x ) {\displaystyle Q_{Y\mid X}(y\mid x)} 有時稱為測試通道，是通信通道輸出的條件概率密度函數（PDF） （壓縮信號）Y {\displaystyle Y} 對于給定的輸入（原始信號）X {\displaystyle X} 和 I Q ( Y ; X ) {\displaystyle I_{Q}(Y;X)} 是 Y {\displaystyle Y} 和 X {\displaystyle X} 之間的互信息定義為

I ( Y ; X ) = H ( Y ) ? H ( Y ∠ X ) {\displaystyle I(Y;X)=H(Y)-H(Y\mid X)\,}

其中 H ( Y ) {\displaystyle H(Y)} 和 H ( Y ∩ X ) {\displaystyle H(Y\mid X)} 是輸出信號 Y 的熵和輸出信號的條件熵 給定輸入信號

該問題也可以表述為失真率函數，我們在其中找到給定速率約束下可實現的失真的下限。

這兩個公式導致函數互為反函數。

互信息可以理解為接收方對發送方信號 (H(Y)) 的“先驗”不確定性的度量，該不確定性被接收到發送方信號信息后留下的不確定性所削弱 ( H ( Y ∩ X ) {\displaystyle H(Y\mid X)} )。 當然，不確定性的減少是由于信息量的交流，即 I ( Y ; X ) {\displaystyle I\left(Y;X。