在近幾年的人工智能浪潮中，湧現了眾(zhong) 多優(you) 秀的技術：視頻監控設備的人臉識別功能，智能手機上的語音識別或穀歌最新的自動翻譯 ，都源於(yu) 一種稱為(wei) “深度學習(xi) ”的技術。現在，人工智能成為(wei) 了非常熱門的話題，而實際上目前人工智能發展的眾(zhong) 多貢獻都有賴於(yu) 其下屬的深度學習(xi) ，以及神經網絡領域的發展成果。

實際上，深度學習(xi) 是人工智能實現方法的新名稱，這種方法已經存在了70多年。神經網絡於(yu) 1944年由Warren McCullough和Walter Pitts（芝加哥大學的兩(liang) 位研究人員，也被認為(wei) 是認知科學的創始成員）首次提出後伴隨人工智能的發展幾經沉浮：

人工智能最早一次的興(xing) 起是1956-1974，以命題邏輯、謂詞邏輯等知識表達、啟發式搜索算法為(wei) 代表，當時已經有關(guan) 於(yu) 如何下棋的研究展開。

1980 年代初又興(xing) 起了第二次熱潮，主要圍繞專(zhuan) 家係統、知識工程、醫療診斷等領域。隨後，人工智能跌入了近30 年的寒冬。

第三次熱潮就是最近兩(liang) 年興(xing) 起的深度學習(xi) 推動的，主要表現是人臉識別、語音識別、自然語言處理等技術的成熟。

至於(yu) 神經網絡，直到1969年，神經網絡都是神經科學和計算機科學的一個(ge) 主要研究領域。其後，它隨同人工智能的寒冬經曆了一段被冷落的時期。在20世紀80年代神經網絡方麵的研究再次興(xing) 起，並由於(yu) 圖形芯片處理能力的提高，大規模的提升和應用在2010年後大爆發。

神經網絡是一種進行機器學習(xi) 的方法，計算機通過分析訓練樣例來學習(xi) 執行某些任務。通常，這些例子是事先標記的。例如，物體(ti) 識別係統可以饋送數千個(ge) 汽車，房屋，咖啡杯等不同類別的標記圖像，並且它將在圖像中找到始終與(yu) 特定標簽相關(guan) 聯的視覺圖案。

神經網絡模仿人腦而構建，由數千甚至數百萬(wan) 個(ge) 密集互連的簡單處理節點組成。現今的大多數神經網絡被組織成節點層，它們(men) 是“前饋”網絡，意味著數據隻在一個(ge) 方向上穿過它們(men) 。單個(ge) 節點可能連接到其下麵的層中的幾個(ge) 節點，從(cong) 中接收數據，以及它上麵的層中的幾個(ge) 節點，它們(men) 向其發送數據。

對於(yu) 每個(ge) 傳(chuan) 入連接，節點將分配一個(ge) 稱為(wei) “權重”的數字。當網絡處於(yu) 活動狀態時，節點在其每個(ge) 連接上接收不同的數據項（不同的數字），並將其乘以相關(guan) 權重。

然後它將得到的乘積，加在一起，產(chan) 生一個(ge) 結果數字。如果該數字低於(yu) 傳(chuan) 輸閾值，則節點不將數據傳(chuan) 遞給下一層。如果數量超過傳(chuan) 輸閾值，則節點“觸發”，意味著沿其所有傳(chuan) 出連接發送數字 - 加權輸入的總和。

當訓練神經網絡時，其所有權重和閾值最初都設置為(wei) 隨機值。訓練數據被饋送到底層 - 輸入層 - 它通過後續層，以複雜的方式相乘並加在一起，轉換傳(chuan) 輸到輸出層。在訓練期間，係統不斷調整權重和閾值，直到具有相同標簽的訓練數據始終產(chan) 生類似的輸出。

神經網絡的發展

McCullough和Pitts在1944年描述的神經網絡具有閾值和權重，但它們(men) 沒有排列成層，研究人員沒有指定任何訓練機製。McCullough和Pitts所展示的是，神經網絡原則上可以計算數字計算機可以執行的任何功能，關(guan) 注重點是人腦可以被認為(wei) 是一種計算設備的概念。

康奈爾大學心理學家弗蘭(lan) 克羅森布拉特於(yu) 1957年展示了第一個(ge) 可訓練的神經網絡Perceptron。Perceptron的設計與(yu) 現代神經網絡的設計非常相似，隻是它隻有一層可調節重量和閾值，夾在輸入之間和輸出圖層。

而現代GPU使20世紀60年代的單層網絡和20世紀80年代的2到3層網絡成為(wei) 當今的10層，15層甚至50層網絡。這也是“深度學習(xi) ”中的“深層”所指的意思——網絡層的深度。

神經網絡後續展望

2010年後神經網絡的複興(xing) - 深度學習(xi) 革命 – 首先來自計算機遊戲行業(ye) 。視頻遊戲的複雜圖像和快節奏需要能夠跟上的硬件，結果是圖形處理單元（GPU）快速發展，它在單個(ge) 芯片上包含數千個(ge) 相對簡單的處理核心。不久人們(men) 就意識到GPU的架構與(yu) 神經網絡的架構非常相似。

同時，為(wei) 了更高效的研究和利用神經網絡，更多硬件方案湧現了出來， Intel收購Altera，穀歌自研TPU，業(ye) 界還在尋找更高效的方法，也在側(ce) 麵印證神經網絡的火爆程度。

現在，神經網絡更是計算機領域和神經科學領域的寶貴工具。用於(yu) 調整權重和閾值的特定網絡布局或規則已經再現了人類神經解剖學和認知學裏觀察到的特征，表明它幫助獲取了關(guan) 於(yu) 大腦如何處理信息的機製。

但是，神經網絡有些令人不滿意的不足：足夠的訓練會(hui) 改變神經網絡的設置，使其可以對數據進行分類，但其中的過程過於(yu) 複雜，查看單個(ge) 連接的權重無法解釋其原理；物體(ti) 識別器看重的圖像特征是什麽(me) ，以及它是如何將它們(men) 拚湊成汽車，房屋和咖啡杯的獨特視覺特征的也尚不明確；類似這些問題都導致神經網絡作用的機製具有一定的不透明性和不可解釋性。

在這些問題得到解決(jue) 後，神經網絡的作用機製將進一步可控。同時，神經網絡作為(wei) 神經科學和計算科學領域的工具，將在人工智能大時代，得到更好的發展。