可解釋的人工智能（XAI），或可解釋的人工智能，或可解釋的機器學習（XML），是指人類可以理解人工智能做出的決定或預測的人工智能（AI）。它與機器學習中的黑匣子概念形成對比，在機器學習中，即使其設計者也無法解釋為什么人工智能會得出一個特定的決定。通過完善人工智能系統用戶的心智模型，拆除他們的錯誤觀念，XAI有望幫助用戶更有效地執行。XAI可能是對社會解釋權的實施。即使沒有法律權利或監管要求，XAI也是相關的。例如，XAI可以改善產品或服務的用戶體驗，幫助終端用戶相信人工智能正在做出好的決定。這樣一來，XAI的目的是解釋已經做了什么，現在做了什么，接下來會做什么，并揭開行動所基于的信息。這些特點使它有可能（一）確認現有的知識（二）挑戰現有的知識和（三）產生新的假設。人工智能中使用的算法可以被區分為白盒和黑盒機器學習（ML）算法。白盒模型是ML模型，它提供的結果對該領域的專家來說是可以理解的。另一方面，黑盒模型則極難解釋，即使是領域專家也很難理解。XAI算法被認為是遵循透明、可解釋和可說明的三個原則。如果"從訓練數據中提取模型參數和從測試數據中生成標簽的過程可以被方法設計者描述和激勵"，那么就有了透明度。可解釋性描述了理解ML模型的可能性，并以人類可以理解的方式呈現決策的基本依據。可解釋性是一個被認為很重要的概念，但目前還沒有一個共同的定義。有人建議，ML中的可解釋性可以被認為是"可解釋領域的特征的集合，這些特征對一個給定的例子產生決策（例如，分類或回歸）有貢獻"。如果算法滿足這些要求，它們就為證明決策、跟蹤從而驗證決策、改進算法和探索新事實提供了基礎。

有時也有可能用白盒ML算法實現高準確度的結果，而這種算法本身是可以解釋的。這在醫學、國防、金融和法律等領域尤其重要，在這些領域，理解決策和建立對算法的信任是至關重要的。許多研究人員認為，至少對于有監督的機器學習來說，未來的方向是符號回歸，其中算法搜索數學表達式的空間以找到最適合給定數據集的模型。人工智能系統優化行為，以滿足系統設計者選擇的數學上指定的目標系統，如命令xxx限度地評估測試數據集中的電影評論的積極程度的準確性。人工智能可以從測試集中學習有用的一般規則，例如包含"可怕"一詞的評論可能是負面的。然而，它也可能學習到不恰當的規則，例如含有"丹尼爾-戴-劉易斯"的評論通常是正面的；如果這些規則被認為可能無法在測試集之外進行推廣，或者人們認為該規則是欺騙或不公平的，那么這些規則可能是不可取的。人類可以審核XAI中的規則，以了解系統在測試集之外對未來真實世界的數據進行概括的可能性如何。

xxx之間的合作，在這里是指算法和人類之間的合作，取決于信任。如果人類要接受算法處方，他們需要信任算法。信任標準形式化的不完全性是直接優化方法的一個障礙。出于這個原因，透明度、可解釋性和可解釋性被認為是檢查其他標準的中間目標。這在醫學上尤其重要，尤其是臨床決策支持系統（CDSS），醫學專家應該能夠理解基于機器的決策是如何和為什么做出的，以便信任該決策并增強他們的決策過程。人工智能系統有時會學習不理想的技巧，在訓練數據上做了滿足明確的預編程目標的最佳工作，但并不反映人類系統設計者的復雜的隱性愿望。例如，2017年一個負責圖像識別的系統通過尋找恰好與馬匹圖片相關的版權標簽來學習作弊，而不是學習如何分辨圖片中是否真的有馬。在另一個2017年的系統中，一個負責在虛擬世界中抓取物品的監督學習人工智能學會了作弊，將其操縱器放在物體和觀眾之間。