AI加速器是一類專門的硬件加速器或計算機系統，旨在加速人工智能和機器學習應用，包括人工神經網絡和機器視覺。典型的應用包括機器人、物聯網和其他數據密集型或傳感器驅動的任務的算法。它們通常是多核設計，一般側重于低精度算術、新型數據流架構或內存計算能力。截至2018年，一個典型的人工智能集成電路芯片包含數十億個MOSFET晶體管。這類設備存在一些供應商的特定術語，它是一種沒有主導設計的新興技術。

計算機系統經常用專門任務的特殊用途加速器來補充CPU，被稱為協處理器。著名的特定應用硬件單元包括圖形的視頻卡、聲卡、圖形處理單元和數字信號處理器。隨著深度學習和人工智能工作負載在2010年代的崛起，專門的硬件單元被開發出來，或從現有產品中改編，以加速這些任務。

像英特爾的ETANN80170NX這樣的首次嘗試結合了模擬電路來計算神經功能。后來像Nestor/IntelNi1000這樣的全數字芯片接踵而來。早在1993年，數字信號處理器就被用作神經網絡加速器來加速光學字符識別軟件。在20世紀90年代，還有人嘗試為工作站創建并行的高吞吐量系統，旨在實現各種應用，包括神經網絡模擬。基于FPGA的加速器也在20世紀90年代首次被探索用于推理和訓練。智能手機從2015年的高通驍龍820開始加入了人工智能加速器。

異構計算指的是在一個系統中，甚至是在一個芯片中加入一些專門的處理器，每個處理器都為特定類型的任務進行了優化。諸如Cell微處理器這樣的架構具有與人工智能加速器明顯重疊的特征，包括：支持打包的低精度算術，數據流架構，以及將"吞吐量"置于延遲之上。Cell微處理器隨后被應用于包括人工智能在內的許多任務。在2000年代，在視頻和游戲工作負載的推動下，CPU也獲得了越來越寬的SIMD單元；以及對打包低精度數據類型的支持。由于CPU的性能不斷提高，它們也被用于運行AI工作負載。對于具有小規模或中等規模并行性的DNN，對于稀疏的DNN和低批處理規模的場景，CPU更有優勢。

圖形處理單元或GPU是用于操作圖像和計算局部圖像屬性的專門硬件。神經網絡和圖像操作的數學基礎是類似的，涉及矩陣的令人尷尬的并行任務，導致GPU越來越多地被用于機器學習任務。截至2016年，GPU在人工智能工作中很受歡迎，它們繼續朝著促進深度學習的方向發展，用于訓練和推理的設備，如自動駕駛汽車。NvidiaNVLink等GPU開發商正在為AI受益的那種數據流工作負載開發額外的連接能力。隨著GPU被越來越多地應用于人工智能加速，GPU制造商已經納入了神經網絡專用硬件，以進一步加速這些任務。張量核心的目的是加快神經網絡的訓練速度。

深度學習框架仍在不斷發展，因此很難設計定制硬件。可重新配置的設備，如現場可編程門陣列（FPGA），使得硬件、框架和軟件更容易同時發展。

微軟已經使用FPGA芯片來加速推理。專用人工智能加速器ASIC的出現雖然GPU和FPGA在人工智能相關任務方面的表現遠遠優于CPU，但通過特定應用集成電路（ASIC），采用更具體的設計，可能會獲得高達10倍的效率。這些加速器采用了諸如優化內存使用和使用低精度算術的策略，以加速計算并增加計算的吞吐量。一些采用的低精度浮點格式的AI加速器是半精度和bfloat16浮點格式。谷歌、高通、亞馬遜、蘋果、Facebook、AMD和三星等公司都在設計自己的AIASIC。Cerebras系統公司還在業內xxx的處理器--第二代WaferScaleEngine（WSE-2）的基礎上建立了一個專門的AI加速器，以支持深度學習工作負載。

2017年6月，IBM研究人員宣布了一種與馮-諾伊曼架構相反的架構，基于內存計算和相。