AI江湖：神經(jīng)網(wǎng)絡(luò)興衰史
撰文｜張?zhí)烊?/span>
正如物理學(xué)家、曼哈頓計劃領(lǐng)導(dǎo)者奧本海默所說：“我們不僅是科學(xué)家，我們也是人?！保腥说牡胤骄陀薪?，科學(xué)界也難免。人們經(jīng)常說“科學(xué)無國界，科學(xué)家有祖國“，即使不談這些政治糾葛，科學(xué)家中還是有不同學(xué)術(shù)圈子的，每個人都有自己堅持的學(xué)術(shù)觀點和主張，學(xué)術(shù)爭論無時不在。一般來說，自由爭論有利于學(xué)術(shù)進步，但爭論也可能造成誤會產(chǎn)生偏見，從而讓某些科學(xué)家受害并影響科學(xué)的正常發(fā)展。今天將講述的，是AI歷史中的一段江湖故事……
1.羅森布拉特的感知器
1958年7月，美國海軍研究辦公室公布了一項非凡的發(fā)明，宣稱展示了“第一臺能夠擁有人類思想的機器”，見圖1。
演示者將一系列打孔卡經(jīng)過一個電子設(shè)備，輸入到一臺重5噸，大小相當(dāng)于一個房間的計算機（IBM704）中，經(jīng)過50次試驗后，計算機學(xué)會了區(qū)分左側(cè)標(biāo)記的卡片和右側(cè)標(biāo)記的卡片。換句話說，就是這個機器可以學(xué)會“分類”，如同孩子在父母的教導(dǎo)下學(xué)會分辨貓和狗一樣。分類是人工智能研究的一個重要功能。
美國海軍演示的是“感知器”（或稱感知機，Perceptron）。據(jù)其創(chuàng)造者，弗蘭克·羅森布拉特博士介紹，這是一種模擬生物學(xué)中“神經(jīng)網(wǎng)絡(luò)”原理構(gòu)建的電子設(shè)備，具有學(xué)習(xí)能力。羅森布拉特在1962 年出版的《神經(jīng)動力學(xué)原理：感知器和大腦機制理論》[1]一書中詳細分析并擴展了這種方法。當(dāng)年，羅森布拉特因感知器而獲得了國際認(rèn)可。《紐約時報》將其稱為一場革命，標(biāo)題為“新海軍設(shè)備通過實踐來學(xué)習(xí)”，《紐約客》同樣也對這項技術(shù)進步表示了贊賞。
當(dāng)時的羅森布拉特是紐約布法羅康奈爾航空實驗室的研究心理學(xué)家和項目工程師，展示感知機后的第二年，他成為康奈爾大學(xué)生物科學(xué)系神經(jīng)生物學(xué)和行為學(xué)副教授。
羅森布拉特的感知機計劃受到了McCulloch和Pitts的形式神經(jīng)網(wǎng)絡(luò)的啟發(fā)，是專為圖像識別而設(shè)計的一個簡單的單層神經(jīng)網(wǎng)絡(luò)，并且添加了額外的機器學(xué)習(xí)機制。圖2是感知機的邏輯示意圖。感知機獲得了美國海軍的大量資助，最初是基于兩年的軟件研究而實現(xiàn)。之后，羅森布拉特構(gòu)建并展示了感知器的唯一硬件版本：Mark-1，它由聯(lián)結(jié)到神經(jīng)元的400個光電細胞（20×20的感光單元矩陣）組成，可以將輸入的光學(xué)信號（例如英文字符）轉(zhuǎn)化為電信號，再通過物理電纜將其與字母分類的神經(jīng)元層相連。Mark-1突觸的權(quán)重函數(shù)用電位計編碼，由電動馬達實現(xiàn)學(xué)習(xí)過程中權(quán)重的改變。
可想而知，在當(dāng)時的技術(shù)條件下，這臺機器的具體實現(xiàn)還是非常困難的，這也是為什么引起轟動和廣泛關(guān)注的原因。
羅森布拉特對他的感知器寄予厚望，對人工智能神經(jīng)網(wǎng)絡(luò)的研究持十分樂觀的態(tài)度，他樂觀地認(rèn)為突破即將到來。原來十分低調(diào)的科學(xué)家突然走紅，他出席各種演講、晚會，這點當(dāng)然會引起當(dāng)年人工智能大伽們的注意。
羅森布拉特的工作引起了MIT閔斯基教授的關(guān)注。閔斯基在感知器問世的兩年之前，即1956年，與麥卡錫等一起，發(fā)起召開了達特茅斯研討會，確定了人工智能的名字，討論了發(fā)展方向等等問題?；谒麑ι窠?jīng)網(wǎng)絡(luò)的研究，使得他對羅森布拉特的主張深感懷疑?？茖W(xué)中的質(zhì)疑是正?，F(xiàn)象，因此，他們經(jīng)常在學(xué)術(shù)會議上公開辯論感知機的可行性。在一次會議上，兩人大吵一頓，矛盾徹底公開化。想必那幾次爭論是非常激烈的，因為據(jù)他們的同事和學(xué)生在后來的回憶中，有“在一旁看得目瞪口呆”、“被他們的爭論嚇了一跳”之類的話語。閔斯基直接對感知機存在的價值和前途發(fā)起進攻，指出它的實際價值非常有限，沒有什么發(fā)展前途，絕不可能作為解決人工智能的問題的主要研究方法。
“羅森布拉特認(rèn)為他可以使計算機閱讀并理解語言，而馬文·閔斯基指出這不可能，因為感知機的功能太簡單了”一位當(dāng)年的研究生回憶說。
后來，1969年，閔斯基和MIT的另一位數(shù)學(xué)教授西摩·佩珀特（Seymour Papert）出了一本名為《感知機》（Perceptrons）的學(xué)術(shù)著作[2]，從理論上證明感知機的缺陷，書中還有對羅森布拉特個人的攻擊言語：“羅森布拉特寫的論文，大部分內(nèi)容……毫無科學(xué)價值”。
在《感知機》這本書對羅森布拉特工作的強烈抨擊下，本質(zhì)上終結(jié)了感知機的命運。次年，閔斯基獲得圖靈獎，得到了計算機領(lǐng)域的最高榮譽。
閔斯基是當(dāng)時業(yè)界的權(quán)威人物，這種對感知機直截了當(dāng)?shù)呢?fù)面評價，對本性孤傲的羅森布拉特來說是致命的。一年多后，羅森布拉特在獨自劃船慶祝自己43歲生日那天溺水身亡，把他的名字，他的感知機，他的遺憾和夢想，都永遠留在了人工智能的科學(xué)史上。
《感知機》一書不僅打擊了羅森布拉特，造成感知機的暫時失敗，還幾乎扼殺了當(dāng)時神經(jīng)網(wǎng)絡(luò)方面的研究，也影響和帶來了人工智能長達10年的第一次低谷期。
2.符號主義和聯(lián)結(jié)主義
其實，羅森布拉特[3]和閔斯基的出身和經(jīng)歷，有許多相同之處，他們年齡相仿，都是出生于紐約的猶太家庭，他們甚至曾經(jīng)同時就讀于同一所中學(xué)，是紐約布朗克斯科學(xué)高中的校友。不錯！就是那所出了8名諾貝爾科學(xué)獎和一位諾貝爾經(jīng)濟獎得主，還有難以數(shù)計的各方名人的著名高中。如此名校的學(xué)兄學(xué)弟，卻結(jié)怨于學(xué)海江湖！不由得使人腦海中劃過那句名言：“相煎何太急？”
不過，羅森布拉特去世后，閔斯基在《感知機》一書再版時，刪除了原版中對羅森布拉特的個人攻擊的句子，并手寫了“紀(jì)念羅森布拉特”（In memory of Frank Rosenblatt）一語，多少表示了對這位早逝校友同行的哀悼。
此外，兩人的爭論也代表了當(dāng)年人工智能中符號主義與聯(lián)結(jié)主義兩種學(xué)術(shù)觀點之爭[4]。
馬文·閔斯基（Marvin Minsky，1927—2016）生于紐約市，他是深度學(xué)習(xí)的先行者。在哈佛大學(xué)讀本科期間，他曾開發(fā)了早期的電子學(xué)習(xí)網(wǎng)絡(luò)。在普林斯頓大學(xué)念研究生時，他建造了第一臺神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機SNARC。他的博士論文以《神經(jīng)-模擬強化系統(tǒng)的理論及其在大腦模型問題上的應(yīng)用》為題，這實際上就是一篇關(guān)于神經(jīng)網(wǎng)絡(luò)的論文。所以，閔斯基研究生階段的工作，奠定了人工神經(jīng)網(wǎng)絡(luò)的研究基礎(chǔ)，應(yīng)該屬于聯(lián)結(jié)主義的范疇。
1956年，他與約翰·麥卡錫、克勞德·香農(nóng)等，一同發(fā)起了1956年的達特茅斯學(xué)院會議，創(chuàng)造了“人工智能”一詞，是AI的開山鼻祖之一。達特茅斯學(xué)院會議也是符號主義的勝利，閔斯基和麥卡錫都被認(rèn)為是AI符號主義的典型代表人物，當(dāng)年他們的意圖，是反對早期控制論的聯(lián)結(jié)主義。認(rèn)為人工智能的目的是通過程序在計算機中實現(xiàn)規(guī)則，用邏輯推理來對抗AI中的聯(lián)結(jié)主義。從20世紀(jì)60年代中期到90年代初，符號主義方法盛行。
可見，閔斯基后來轉(zhuǎn)向了符號派，他也盡力淡化他與聯(lián)結(jié)主義間的關(guān)系，也許這是他強烈抨擊感知機的原因之一。
閔斯基自1958年起在麻省理工學(xué)院任教，擔(dān)任電子工程與計算機科學(xué)的教授，直到他過世為止。
在麻省理工學(xué)院，他與約翰·麥卡錫共同創(chuàng)立了人工智能研究室（MIT計算機科學(xué)與人工智能實驗室的前身）。他有數(shù)項發(fā)明，如1957年發(fā)表的共聚焦顯微鏡，1963年發(fā)表的頭戴式顯示器等。
2016年1月24日，閔斯基因腦內(nèi)出血病逝，享壽88歲。
閔斯基的對手弗蘭克·羅森布拉特（Frank Rosenblatt，1928－1971）比他小一歲，是一位心理學(xué)家。
羅森布拉特出生于紐約長島的一個猶太家庭，1946年從布朗克斯科學(xué)高中畢業(yè)后，他進入康奈爾大學(xué)，并于1950年獲得學(xué)士學(xué)位，1950年獲得博士學(xué)位。隨后，他前往紐約州布法羅的康奈爾航空實驗室，先后擔(dān)任研究心理學(xué)家、高級心理學(xué)家和認(rèn)知系統(tǒng)部門負(fù)責(zé)人。這也是他進行感知器早期工作的地方。
羅森布拉特1966年加入康奈爾大學(xué)新成立的生物科學(xué)系神經(jīng)生物學(xué)和行為科，擔(dān)任副教授。他對通過注射腦提取物將學(xué)習(xí)行為從經(jīng)過訓(xùn)練的老鼠轉(zhuǎn)移到小老鼠身上產(chǎn)生了濃厚的興趣，他在后來的幾年中就這一主題發(fā)表了大量文章。
羅森布拉特也對天文學(xué)感興趣，他花了3000美元買了一臺望遠鏡，但太大了以至于沒有地方放。因此，他在紐約布魯克頓代爾附近買了一棟大房子，并邀請他的幾名研究生住在那里。白天，團隊在托伯莫里工作。晚上，他們在羅森布拉特的院子里作土木工作，建了一座天文臺。
羅森布拉特興趣廣泛多才多藝，白天在實驗室里解剖蝙蝠，研究動物大腦的學(xué)習(xí)機理，夜晚在自家后山搭建的簡易天文臺上仰望天空，試圖探索外星人奧秘。羅森布拉特的性格方面，害羞內(nèi)向，并不張揚。
感知器始終是羅森布拉特的熱情所在。他最終沒有熬過人工智能的冬天，于1971年43歲生日那天，自駕駛帆船溺水身亡。2004年，IEEE計算智能學(xué)會設(shè)立了羅森布拉特獎（IEEE Frank Rosenblatt Award），獎勵在生物及語音啟發(fā)計算領(lǐng)域做出卓越貢獻的人，以紀(jì)念這位杰出的科學(xué)家。
1956年的達特茅斯會議，啟動了第一波人工智能浪潮，這一浪潮跨越至70年代初，代表符號主義的建模推理方法是其核心特征。這方面研究的主流由MIT的閔斯基、卡內(nèi)基梅隆大學(xué)的西蒙和紐厄爾，以及斯坦福大學(xué)的麥卡錫組成。在當(dāng)時，這個符號主義圈子里的高手們，基本建立了對人工智能問題的壟斷，并獲得了大部分資金和大型計算機系統(tǒng)的訪問權(quán)。
符號主義者的主要特征是他們不太重視機器智能與世界的聯(lián)系，只在計算機內(nèi)開辟獨立的推理空間，將人工智能視為機器思維的科學(xué)，目標(biāo)是賦予機器以邏輯和抽象的能力。
反之，羅森布拉特是心理學(xué)家，對人類生理學(xué)和心理行為等更感興趣，因而趨向于聯(lián)結(jié)主義。自然地，他熱衷于對用神經(jīng)網(wǎng)絡(luò)的概念來模擬人腦神經(jīng)傳遞機制，也由此而研究發(fā)明了感知機。
感知機在媒體上取得的成功，也激發(fā)起聯(lián)結(jié)主義研究人員的熱情。但閔斯基和帕佩特在1969年的書中宣稱他們證明了神經(jīng)網(wǎng)絡(luò)無效的說法，又給這些科學(xué)家們澆了一盆冷水，使聯(lián)結(jié)主義的熱度驟減。盡管這本書的影響可能超出了閔斯基等的意圖，但其后果是確定的：神經(jīng)網(wǎng)絡(luò)被放棄，其資金被大量削減。實際上，不僅聯(lián)結(jié)主義衰退，針對符號主義的批評也越來越多，符號主義和聯(lián)結(jié)主義項目都被凍結(jié)了，聯(lián)邦對人工智能研究的資助枯竭。人工智能被當(dāng)成僅僅是人工游戲，進入了它發(fā)展旅程中的第一個冬天。
3.感知器和神經(jīng)網(wǎng)絡(luò)
我們回到羅森布拉特的感知機[5]。它實際上是現(xiàn)代神經(jīng)網(wǎng)絡(luò)的雛形，有沒有科學(xué)價值，已有如今AI的迅猛發(fā)展為證。當(dāng)然，作為第一代的人工智能機器，感知器有這樣那樣的缺陷是難免的，而且當(dāng)時的羅森布拉特，還沒來得及把感知機的學(xué)習(xí)算法推廣到多層神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)從簡單到復(fù)雜多種多樣，見圖4。感知器只是一個最簡單只有一層的神經(jīng)網(wǎng)絡(luò)（圖4左），而現(xiàn)代神經(jīng)網(wǎng)絡(luò)卻有數(shù)百萬個（隱藏）層，圖4右。
不過，閔斯基認(rèn)為感知器的缺陷是致命的，因為它無法模擬“非線性可分”函數(shù)，他舉了一個邏輯門的例子：異或門，即感知器不能區(qū)分異或門。以下對此作簡單介紹。
感知器神經(jīng)元的簡單模型如圖4左圖所示：多個輸入和一個輸出。輸出功能是求得輸入向量與權(quán)向量的內(nèi)積后，經(jīng)一個激活函數(shù)得到一個標(biāo)量結(jié)果。
神經(jīng)網(wǎng)絡(luò)為什么能分類呢？原因之一是歸于激活函數(shù)的功勞。例如，最簡單的激活函數(shù)是個階梯函數(shù)，輸出0或1，也就是說，這個函數(shù)實現(xiàn)了分類：將結(jié)果分成了兩類。
至于何時輸出0，何時輸出1？就要根據(jù)輸入的值來進行決策了。例如，可以問3個問題來判定是貓還是狗？耳朵朝上還是朝下？嘴巴是否凸出來？胡須長或短？最簡單的決策方法就是：3個問題都輸入yes的話，輸出=貓，否則是“狗”。但激活函數(shù)可以從階梯函數(shù)改變?yōu)槠交暮瘮?shù)，如圖4左圖中右下角的紅線所示，這種函數(shù)便于在最優(yōu)化時進行微分計算，而輸出便被相應(yīng)地理解為決策判斷為是貓還是狗的概率了。
神經(jīng)網(wǎng)絡(luò)又為何能具有學(xué)習(xí)功能呢？那是因為每個輸入端都有一個權(quán)重值，這些參數(shù)是神經(jīng)網(wǎng)絡(luò)的核心。在訓(xùn)練過程中，網(wǎng)絡(luò)調(diào)整這些權(quán)重，以使其在特定任務(wù)上的誤差最小化。這個權(quán)重更新的過程也就是所謂的“機器學(xué)習(xí)”的過程。最小化可以使用各種優(yōu)化算法，例如，感知器中用的是“梯度下降法”。
如圖4左圖上方的公式所示，為輸出而計算的求和函數(shù)是n維空間中的一個超平面。因此，感知器這種神經(jīng)網(wǎng)絡(luò)“分類”的本質(zhì)就是這個超平面將空間分成了兩部分。如果對兩個輸入端的神經(jīng)網(wǎng)絡(luò)而言，就是用一條直線將平面分成了2個部分，如圖5b所示的線性可分情況。
然而，如果輸入的樣本是線性不可分的（圖5b右邊），感知機則無法模擬這種情況。這就是閔斯基指出的感知機的缺點。
圖6顯示的是幾種基本邏輯門的情況，單層感知機可被用來區(qū)分其中的3種，邏輯與(AND)、邏輯與非(NAND)和邏輯或(OR)，但是，無法模擬邏輯異或函數(shù)，因為它屬于線性不可分。
要解決非線性可分問題，可考慮使用多層功能神經(jīng)網(wǎng)絡(luò)。輸出層與輸入層之間的一層神經(jīng)元，被稱為隱層，隱層和輸出層神經(jīng)元都是擁有激活函數(shù)的功能神經(jīng)元。圖7左圖中，感知器的神經(jīng)元，沒有隱含層，決策計算只生成一條直線，無法區(qū)別異或問題。但如果增加一個帶非線性激活函數(shù)的隱含層就可以了。隱層輸出的激活函數(shù)的非線性也有助于解決非線性可分問題。多一個隱層相當(dāng)于增加了一個空間維度，如圖6右圖所示，構(gòu)成了一個單隱層的神經(jīng)網(wǎng)絡(luò)，決策計算就能生成兩條直線，可以區(qū)別異或問題了。
對多隱層的神經(jīng)網(wǎng)絡(luò)，還有一個“萬能近似定理”，意味著使用S型函數(shù)作為激勵函數(shù)的多層神經(jīng)網(wǎng)絡(luò)，可以用來近似任意的復(fù)雜函數(shù)，并且可以達到任意近似精準(zhǔn)度。
總而言之，從20世紀(jì)80年代和90年代開始，聯(lián)結(jié)主義重新出現(xiàn)，神經(jīng)網(wǎng)絡(luò)研究回歸主流。許多人認(rèn)為羅森布拉特的理論已被證明是正確的。樸素的感知器有其缺陷，但它的基本原理引發(fā)了現(xiàn)代人工智能革命。深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)正在改變我們的社會，了解一下感知器，以及神經(jīng)網(wǎng)絡(luò)這段興衰史，有助于我們更好地認(rèn)清AI，以及AI發(fā)展的未來。
參考文獻：（上下滑動可瀏覽）
