神經網絡是一個由生物神經元組成的網絡或電路，或者從現代意義上講，是一個由人工神經元或節點組成的人工神經網絡。因此，一個神經網絡要么是由生物神經元組成的生物神經網絡，要么是用于解決人工智能（AI）問題的人工神經網絡。生物神經元的連接在人工神經網絡中被建模為節點之間的權重。正的權重反映了興奮性連接，而負值意味著抑制性連接。所有的輸入都被一個權重修改并加總。這種活動被稱為線性組合。最后，一個激活函數控制輸出的振幅。例如，可接受的輸出范圍通常在0和1之間，也可以是-1和1。這些人工網絡可用于預測建模、自適應控制和可通過數據集進行訓練的應用。經驗導致的自我學習可以在網絡中發生，它可以從復雜的、看似不相關的信息集中得出結論。

一個生物神經網絡是由一組化學上相連或功能上相關的神經元組成。一個神經元可能與許多其他神經元相連，網絡中的神經元和連接的總數可能很廣泛。連接，稱為突觸，通常是從軸突到樹突形成的，盡管樹突和其他連接是可能的。除了電信號外，還有其他形式的信號，這些信號來自于神經遞質的擴散。人工智能、認知建模和神經網絡是受生物神經系統如何處理數據啟發的信息處理范式。人工智能和認知建模試圖模擬生物神經網絡的一些特性。在人工智能領域，人工神經網絡已被成功應用于語音識別、圖像分析和自適應控制，以構建軟件代理（在計算機和視頻游戲中）或自主機器人。從歷史上看，數字計算機是從馮-諾依曼模型演化而來的，通過一些處理器對內存的訪問來執行明確的指令而運作。另一方面，神經網絡的起源是基于對生物系統中信息處理的建模努力。與馮-諾依曼模型不同，神經網絡計算并沒有將記憶和處理分開。神經網絡理論有助于更好地確定大腦中的神經元如何運作，并為創造人工智能的努力提供基礎。

當代神經網絡的初步理論基礎是由亞歷山大-貝恩（1873）和威廉-詹姆斯（1890）獨立提出。在他們的工作中，思想和身體活動都是由大腦中的神經元之間的相互作用產生的。對貝恩來說，每一項活動都會導致某一組神經元的發射。當活動被重復時，這些神經元之間的聯系就會加強。根據他的理論，這種重復是導致記憶形成的原因。當時的一般科學界對貝恩的理論持懷疑態度，因為它要求大腦中的神經連接數量似乎過多。現在很明顯，大腦是極其復雜的，同一個大腦"線路"可以處理多種問題和輸入。詹姆斯的理論與貝恩的理論相似，然而，他認為記憶和行動是由大腦中的神經元之間流動的電流造成的。他的模型通過關注電流的流動，不需要為每個記憶或行動建立單獨的神經連接。C.S.Sherrington（1898年）進行了實驗來檢驗詹姆斯的理論。他在大鼠的脊髓上運行電流。

然而，謝林頓并沒有像詹姆斯預測的那樣顯示出電流的增加，而是發現隨著測試時間的延長，電流強度下降。重要的是，這項工作導致了習慣化概念的發現。McCulloch和Pitts（1943）在數學和算法的基礎上創建了一個神經網絡的計算模型。他們稱這個模型為閾值邏輯。該模型為神經網絡的研究鋪平了道路，使其分為兩種不同的方法。一種方法專注于大腦中的生物過程，另一種方法專注于將神經網絡應用于人工智能。20世紀40年代末，心理學家唐納德-赫伯在神經可塑性機制的基礎上創造了一種學習的假說，現在被稱為赫伯恩學習。Hebbian學習被認為是一種"典型的"無監督的學習規則，其后來的變體是早期的長期電位模型。這些思想在1948年隨著圖靈的B型機開始被應用于計算模型中