AI加速器是一類專門的硬件加速器或計算機系統旨在加速人工智能的應用，尤其是人工神經網絡、機器視覺和機器學習。典型應用包括機器人技術，物聯網和其他數據密集型或傳感器驅動任務的算法。他們往往多核設計和一般集中于低精度算術，新穎的數據流的體系結構或內存中的計算能力。截至2018年，典型的AI?集成電路芯片包含數十億個MOSFET晶體管。

此類別的設備存在許多特定于供應商的術語，并且這是一種新興的技術，沒有占主導地位的設計。

計算機系統經常通過專用于專用任務的加速器對CPU進行補充。特定于應用程序的著名硬件單元包括用于圖形的視頻卡、聲卡、圖形處理單元和數字信號處理器。隨著2010年代深度學習和人工智能工作負荷的日益增加，專門的硬件單元已經開發或從現有產品中進行了改編，以加速這些任務。

早在1993年，數字信號處理器就被用作神經網絡加速器，例如，以加速光學字符識別軟件。在1990年代，還嘗試為針對各種應用（包括神經網絡仿真）的工作站創建并行的高吞吐量系統。在1990年代還首次探索了基于FPGA的加速器，用于推理和訓練。ANNA是Yann LeCun開發的神經網絡CMOS加速器。

異構計算是指將多個專用處理器并入單個系統甚至單個芯片中，每個專用處理器針對特定類型的任務進行了優化。諸如單元微處理器之類的架構具有與AI加速器明顯重疊的功能，包括：支持壓縮的低精度算術，數據流架構，以及優先考慮“吞吐量”而不是延遲。Cell微處理器隨后被應用于包括AI在內的許多任務。

在2000年代，在視頻和游戲工作量的推動下，CPU的SIMD單元也越來越多。以及對壓縮的低精度數據類型的支持。

圖形處理單元或GPU是用于處理圖像和計算局部圖像屬性的專用硬件。神經網絡和圖像處理的數學基礎是相似的，涉及矩陣的令人尷尬的并行任務，導致GPU越來越多地用于機器學習任務。截至2016年，GPU在AI工作中非常流行，并且在向深度學習（用于訓練和自動駕駛汽車等設備的推論）發展的方向上不斷發展。GPU開發人員，例如Nvidia?NVLink正在為AI受益的那種數據流工作負載開發附加的連接功能。隨著GPU已越來越多地應用于AI加速、GPU制造商已將神經網絡?特定的硬件并入以進一步加速這些任務。Tensor?核心旨在加速神經網絡的訓練。

深度學習框架仍在發展，這使得設計定制硬件變得困難。諸如現場可編程門陣列（FPGA）之類的可重新配置的設備使硬件、框架和軟件的相互開發變得更加容易。

微軟已經使用FPGA芯片來加速推理。FPGA在AI加速中的應用促使Intel收購Altera，目的是將FPGA集成到服務器CPU中，這將能夠加速AI和通用任務。

盡管GPU和FPGA中表現得更好在效率比CPU為AI相關任務，向上的一個因子10可以用更具體的設計來獲得，通過應用專用集成電路（ASIC） 。這些促進劑使用的策略，如優化存儲器使用和使用較低精度運算來加速計算和增加吞吐量的計算。一些采用了低精度浮點格式使用的AI加速為半精度和bfloat16浮點格式。

2017年6月，IBM研究人員宣布了一種與馮·諾依曼（Von Neumann）體系結構相反的體系結構，該體系結構基于應用于時間相關性檢測的內存計算和相變存儲陣列，旨在推廣異構計算和大規模并行系統的方法。2018年10月，IBM研究人員宣布了一種基于內存處理并以人腦的突觸網絡為模型的架構，以加速深度神經網絡。該系統基于相變存儲陣列。

截至2016年，該領域仍在不斷變化，供應商正在推銷自己的市場術語，即“ AI加速器”，以期他們的設計和API將成為主導設計。對于這些設備之間的邊界，以及它們將采用的確切形式，尚無共識。但是，顯然有幾個示例旨在在功能上有相當多的重疊來填補這一新空間。

過去，消費類圖形加速器應運而生，業界最終??采用了Nvidia的自定義術語“ GPU”作為“圖形加速器”的統稱名詞，在決定實施實現Direct3D提出的模型。

• 自動駕駛汽車：Nvidia已將Drive PX系列板瞄準了這一領域。
• 農業機器人，例如無農藥除草。
• 語音控制（例如手機中的語音控制）是Qualcomm Zeroth的目標。
• 機器翻譯
• 無人駕駛飛行器，例如導航系統，例如Movidius Myriad 2，已被成功引導無人駕駛飛機。
• 工業機器人，通過增加對各種情況的適應性，擴大了可以自動化的任務范圍。
• 衛生保健，以協助診斷
• 搜索引擎，提高了數據中心的能源效率，并具有使用日益高級的查詢的能力。
• 自然語言處理