二元分類器的評價比較了兩種分配二元屬性的方法，其中一種通常是標準方法，另一種正在研究中。有許多指標可以用來衡量一個分類器或預測器的性能；不同的領域由于目標不同，對特定的指標有不同的偏好。例如，在醫學上經常使用靈敏度和特異性，而在計算機科學上則傾向于使用精確度和召回率。一個重要的區別是獨立于流行率（每個類別在人群中出現的頻率）的度量和依賴于流行率的度量--這兩種類型都很有用，但它們有非常不同的屬性。

給定一個數據集，一個分類（分類器在該數據集上的輸出）給出兩個數字：陽性數和陰性數，這兩個數字加起來就是該數據集的總規模。為了評估一個分類器，人們將其輸出與另一個參考分類進行比較--理想情況下是一個完美的分類，但實際上是另一個黃金標準測試的輸出--并將數據交叉表列成一個2×2的或然率表，比較這兩個分類。然后，通過計算這4個數字的匯總統計，評估相對于黃金標準的分類器。一般來說，這些統計數字將是規模不變的（將所有的數字按相同的系數縮放不會改變輸出），以使它們獨立于人口規模，這是通過使用同質函數的比率來實現的，最簡單的是同質線性或同質二次函數。假設我們測試一些人是否患有某種疾病。其中一些人患有這種疾病，而我們的測試正確地說他們是陽性。他們被稱為真陽性（TP）。有些人有這種疾病，但測試錯誤地聲稱他們沒有。他們被稱為假陰性（FN）。有些人沒有患病，但測試結果顯示他們沒有患病，這就是真陰性（TN）。最后，可能有健康人的測試結果為陽性--假陽性（FP）。這些都可以排列成一個2×2的或然率表（混淆矩陣），傳統上，測試結果在縱軸上，實際情況在橫軸上。然后，這些數字可以被加總，產生一個總和和邊際總數。對整個表格進行合計，真陽性、假陰性、真陰性和假陽性的數量加起來是這組數據的xxx。將各列合計（垂直相加），真陽性和假陽性的數量加起來是測試陽性的xxx，同樣，陰性也是如此。

將行相加（水平相加），真陽性和假陰性的數量相加為條件陽性的xxx（反之為陰性）。基本的邊際比率統計是通過將表中的2×2=4個值除以邊際總數（行或列）得到的，產生2個輔助的2×2表，總共有8個比率。這些比率有4個互補對，每對的總和為1，因此這些衍生的2×2表格中的每一個都可以被總結為一對2個數字，連同它們的互補對。通過取這些比率的比值、比率的比值或更復雜的函數，可以得到進一步的統計數據。現將或然率表和最常見的派生比率總結如下；詳情見續集。請注意，行對應于條件實際為陽性或陰性（或被黃金標準歸類為陽性），如顏色編碼所示，相關的統計數字是與患病率無關的，而列對應于測試為陽性或陰性，相關的統計數字是與患病率有關。預測值也有類似的似然比，但這些都是不太常用的，上面也沒有描述。

與流行率無關的基本統計數字是敏感性和特異性。敏感性或真陽性率（TPR），也稱為召回率，是指測試為陽性的人（真陽性，TP）占所有實際為陽性的人（條件陽性，CP=TP+FN）的比例。它可以被看作是在病人患病的情況下，測試呈陽性的概率。靈敏度越高，未被發現的實際疾病病例就越少（或者，在工廠質量控制的情況下，進入市場的故障產品就越少）。特異性（SPC）或真陰性率（TNR）是指檢測為陰性且為陰性的人（真陰性，TN）占所有實際為陰性的人（條件陰性，CN=TN+FP）的比例。與敏感性一樣，它可以被看作是在病人沒有生病的情況下，檢測結果為陰性的概率。特異性越高，被貼上疾病標簽的健康人就越少（或者，在工廠的情況下，被丟棄的好產品就越少）。特異性之間的關系