昔日被嗤為騙子，今日摘得圖靈獎(jiǎng) | 業(yè)界熱評(píng)
撰文 | 趙亞杰
● ● ●
人工智能中的神經(jīng)網(wǎng)絡(luò)一度被業(yè)內(nèi)人士高度懷疑，不僅當(dāng)年的相關(guān)會(huì)議門庭冷落，相關(guān)研究的學(xué)者也羞于自報(bào)家門。所謂三十年河?xùn)|三十年河西，如今以深度學(xué)習(xí)引領(lǐng)的人工智能大紅大紫，相關(guān)會(huì)議的論文激增讓審稿人感到頭疼，也讓一般民眾為之癡狂，不過，追根溯源，都要感激這三位先生那些年孤獨(dú)的堅(jiān)持與執(zhí)拗的求索。
2019年3月27日，計(jì)算機(jī)協(xié)會(huì) (Association for Computing Machinery, ACM）將2018年圖靈獎(jiǎng)授予給了深度學(xué)習(xí)領(lǐng)域的三位先驅(qū) Yoshua Bengio，Geoffrey Hinton 以及 Yann LeCun。
他們的獲獎(jiǎng)理由為：他們?cè)诟拍詈凸こ谭矫娴耐黄?，使深度神?jīng)網(wǎng)絡(luò)成為計(jì)算的關(guān)鍵組成部分。他們或獨(dú)立工作，或一起合作，共同奠定了這一領(lǐng)域的概念基礎(chǔ)，同時(shí)通過實(shí)驗(yàn)發(fā)現(xiàn)了令人驚訝的現(xiàn)象，并用實(shí)際的工程進(jìn)展證明了深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)。近些年來，深度學(xué)習(xí)方法已經(jīng)在計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理以及機(jī)器人領(lǐng)域取得了激動(dòng)人心的突破。
在傳統(tǒng)計(jì)算中，計(jì)算機(jī)程序使用明確的指令來指導(dǎo)計(jì)算機(jī)運(yùn)行。作為人工智能研究的子領(lǐng)域，在深度學(xué)習(xí)方法中，計(jì)算機(jī)并沒有被明確告知如何解決特定的（例如對(duì)象分類）任務(wù)。相反，它通過使用學(xué)習(xí)算法來提取數(shù)據(jù)中的模式，這些模式將輸入數(shù)據(jù)（例如圖像的像素）與所需的輸出（例如標(biāo)簽“貓”）相關(guān)聯(lián)。在這一過程中，研究人員所面臨的挑戰(zhàn)是開發(fā)有效的學(xué)習(xí)算法可以調(diào)整人工神經(jīng)網(wǎng)絡(luò)中連接的權(quán)重，以便使這些權(quán)重捕獲數(shù)據(jù)中的相關(guān)模式。
自20世紀(jì)80年代早期以來，Geoffrey Hinton 就一直在倡導(dǎo)利用機(jī)器學(xué)習(xí)的方法來實(shí)現(xiàn)人工智能。他希望通過研究人類大腦的功能，開發(fā)出可以模擬人腦功能的機(jī)器學(xué)習(xí)方法。受人腦啟發(fā)，他與其他人一道提出了“人工神經(jīng)網(wǎng)絡(luò)”，作為機(jī)器學(xué)習(xí)研究的基石。
在計(jì)算機(jī)科學(xué)中，“神經(jīng)網(wǎng)絡(luò)”是指由計(jì)算機(jī)模擬的由簡單的計(jì)算原件——“神經(jīng)元”構(gòu)成的層的組合。這些“神經(jīng)元”通過加權(quán)連接相互影響，通過改變連接的權(quán)重，可以改變神經(jīng)網(wǎng)絡(luò)所執(zhí)行的計(jì)算。Hinton，LeCun 和 Bengio 意識(shí)到通過使用多層網(wǎng)絡(luò)來構(gòu)建深度網(wǎng)絡(luò)的重要性，進(jìn)而提出了“深度學(xué)習(xí)”這一概念。
LeCun，Bengio 和 Hinton 在這三十年間奠定的概念基礎(chǔ)和工程進(jìn)步很大程度上還要?dú)w功于GPU的普及以及大規(guī)模數(shù)據(jù)集的出現(xiàn)。近年來，上述以及其他因素共同作用使得計(jì)算機(jī)視覺、語音識(shí)別以及機(jī)器翻譯取得了跨越式發(fā)展。
“他們或獨(dú)立工作，或一起合作”，這一表述也十分到位。
LeCun 曾在 Hinton 的指導(dǎo)下進(jìn)行博士后研究，而 LeCun 和 Bengio 也曾于20世紀(jì)90年代初一起在貝爾實(shí)驗(yàn)室工作。即使并沒有在一起工作，他們的工作也會(huì)產(chǎn)生協(xié)同作用并相互聯(lián)系，彼此間發(fā)生巨大的影響。Bengio，Hinton 和 LeCun 仍在繼續(xù)探索機(jī)器學(xué)習(xí)與神經(jīng)科學(xué)以及認(rèn)知科學(xué)的交叉方向，特別是通過他們共同參與的由 CIFAR（以前稱為加拿大高級(jí)研究所）組織的一項(xiàng)機(jī)器與大腦學(xué)習(xí)計(jì)劃。
Yoshua Bengio 作為作者之一的《深度學(xué)習(xí)》一書描述深度學(xué)習(xí)經(jīng)歷了三次發(fā)展浪潮：20世紀(jì)40年代到60年代，深度學(xué)習(xí)的雛形出現(xiàn)在控制論中；20世紀(jì)80年代到90年代，深度學(xué)習(xí)表現(xiàn)為聯(lián)結(jié)主義；直到2006年，才真正以深度學(xué)習(xí)之名復(fù)興，而深度學(xué)習(xí)復(fù)興的關(guān)鍵人物就是本年度圖靈獎(jiǎng)的三位得主。
神經(jīng)網(wǎng)絡(luò)研究的第二次浪潮一直持續(xù)到20世紀(jì)90年代中期，可當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)相比于其他機(jī)器學(xué)習(xí)算法并沒有太明顯的優(yōu)勢(shì)，因此導(dǎo)致了其第二次的衰退，這次衰退一直持續(xù)到2007年。
在這十多年的衰退期中，加拿大高級(jí)研究所通過其神經(jīng)計(jì)算和自適應(yīng)感知研究計(jì)劃幫助維持神經(jīng)網(wǎng)絡(luò)研究，該計(jì)劃聯(lián)合了分別由 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 領(lǐng)導(dǎo)的多倫多大學(xué)、蒙特利爾大學(xué)和紐約大學(xué)的機(jī)器學(xué)習(xí)研究小組，同時(shí)還包括了神經(jīng)科學(xué)家、人類和計(jì)算機(jī)視覺專家。在當(dāng)時(shí)，深度網(wǎng)絡(luò)難以訓(xùn)練似乎已經(jīng)成為了一個(gè)共識(shí)，這一20世紀(jì)80年代就出現(xiàn)的算法直到2006年前后都沒有體現(xiàn)出其優(yōu)勢(shì)，僅僅是由于其計(jì)算代價(jià)太高，同時(shí)當(dāng)時(shí)的硬件不足以支持其進(jìn)行足夠的實(shí)驗(yàn)。
神經(jīng)網(wǎng)絡(luò)研究的第三次浪潮始于2006年的突破。
Geoffrey Hinton 證明名為 “深度信念網(wǎng)絡(luò) (Deep Belief Network)” 的神經(jīng)網(wǎng)絡(luò)可以使用一種稱為“貪婪逐層預(yù)訓(xùn)練（greedy layer-wise pre-training）”的策略有效訓(xùn)練。其他的加拿大高級(jí)研究所附屬研究小組很快表明，同樣的策略可以被用來訓(xùn)練許多其他類型的深度網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)研究的這一次浪潮普及了“深度學(xué)習(xí)”這一術(shù)語，強(qiáng)調(diào)研究者現(xiàn)在有能力訓(xùn)練之前不可能訓(xùn)練的非常深的神經(jīng)網(wǎng)絡(luò)。
距離2006年已經(jīng)有十多年過去了，神經(jīng)網(wǎng)絡(luò)的第三次浪潮仍在繼續(xù)。這一波浪潮隨著AlphaGo 在圍棋領(lǐng)域戰(zhàn)勝人類世界冠軍走向高潮，持續(xù)不斷地涌向其他學(xué)科，并與之結(jié)合為這些學(xué)科帶來新的突破，同時(shí)影響著我們生活的方方面面。
業(yè)界評(píng)價(jià)
“人工智能是現(xiàn)在所有科學(xué)領(lǐng)域發(fā)展最快的之一，也是社會(huì)上最受關(guān)注的話題之一。人工智能的發(fā)展以及人們對(duì)于人工智能的興趣很大程度歸功于 Bengio，Hinton 和 LeCun 為深度學(xué)習(xí)的最新進(jìn)展奠定的基礎(chǔ)。數(shù)十億人都在使用著這一技術(shù)。任何口袋里裝著智能手機(jī)的人都可以體驗(yàn)到自然語言處理和計(jì)算機(jī)視覺方面的進(jìn)步，而這些在十多年前都是不可能的。除了我們?nèi)粘Ｊ褂玫奈锲?，深度學(xué)習(xí)的新進(jìn)展也給了從醫(yī)學(xué)到天文學(xué)再到材料科學(xué)的科學(xué)家們強(qiáng)有力的新工具。”
—— Cherri M. Pancake
ACM主席
“深度神經(jīng)網(wǎng)絡(luò)促成了一些現(xiàn)代計(jì)算機(jī)科學(xué)中的最偉大的進(jìn)步，使得在計(jì)算機(jī)視覺、語音識(shí)別以及自然語言處理領(lǐng)域中長期存在的問題取得了實(shí)質(zhì)性進(jìn)展，而這些進(jìn)步的核心都源于三十多年前由今年的圖靈獎(jiǎng)獲得者Yoshua Bengio，Geoffrey Hinton和Yann LeCun所開創(chuàng)的基礎(chǔ)方法。通過顯著提高計(jì)算機(jī)理解世界的能力，深度神經(jīng)網(wǎng)絡(luò)不僅僅改變了計(jì)算領(lǐng)域，而且?guī)缀醺淖兞丝茖W(xué)和人類探索的每個(gè)領(lǐng)域！”
—— Jeff Dean
Google高級(jí)研究員、Google AI高級(jí)副總裁
“這是計(jì)算機(jī)領(lǐng)域?qū)θ斯ぶ悄艿谌卫顺钡闹孕恼J(rèn)可和強(qiáng)烈期望，也是機(jī)器智能走向前臺(tái)的重要里程碑?！?/span>
——楊強(qiáng)
香港科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)系主任
“雖然深度學(xué)習(xí)在理論層面還有很多問題尚未解決，其優(yōu)異的性能和實(shí)用價(jià)值已讓其先鋒人物獲得此獎(jiǎng)。當(dāng)之無愧！”
——顏水成
360人工智能研究院院長
“給圖靈獎(jiǎng)都小。50或100年后，他們對(duì)歷史的巨大影響現(xiàn)在可能都想不到。”
——孫劍
曠視研究院院長
三位獲獎(jiǎng)?wù)吆喗?/span>
Geoffrey Hinton，Google 副總裁兼工程研究員，Vector Institute首席科學(xué)顧問和多倫多大學(xué)名譽(yù)大學(xué)教授。Hinton 在劍橋大學(xué)獲得實(shí)驗(yàn)心理學(xué)學(xué)士學(xué)位，在愛丁堡大學(xué)獲得人工智能博士學(xué)位。他是CIFAR的神經(jīng)計(jì)算和自適應(yīng)感知（后來的機(jī)器與大腦學(xué)習(xí)）項(xiàng)目的創(chuàng)始主任。他被彭博社選為2017年改變?nèi)蛏虡I(yè)格局的50人。
主要貢獻(xiàn)：反向傳播方法（Back propagation）；玻爾茲曼機(jī)（Boltzmann Machines）；改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)（Improvements to convolutional neural networks）
Yoshua Bengio，蒙特利爾大學(xué)的教授，Mila（魁北克人工智能研究所）以及IVADO（數(shù)據(jù)實(shí)驗(yàn)研究所）的科學(xué)主任，CIFAR（加拿大高等研究院）機(jī)器與大腦學(xué)習(xí)項(xiàng)目的聯(lián)合主任。Bengio 擁有麥吉爾大學(xué)電子工程學(xué)士學(xué)位，計(jì)算機(jī)科學(xué)碩士學(xué)位和計(jì)算機(jī)科學(xué)博士學(xué)位。他建立并擔(dān)任科學(xué)主任的魁北克人工智能研究所（Mila）被認(rèn)為是他對(duì)于該領(lǐng)域所作出的重大貢獻(xiàn)。Mila 是一家獨(dú)立的非營利組織，目前擁有300名研究人員和35名教職員工，是世界上最大的深度學(xué)習(xí)研究學(xué)術(shù)中心，使得蒙特利爾成為了一個(gè)充滿活力的人工智能研究基地。
主要貢獻(xiàn)：序列概率模型（Probabilistic models of sequence）；High-dimensional word embeddings and attention；生成對(duì)抗網(wǎng)絡(luò)（Generative adversarial networks）
Yann LeCun，法國裔美國計(jì)算機(jī)科學(xué)家，現(xiàn)為紐約大學(xué) Courant 數(shù)學(xué)科學(xué)研究所 Silver 教授，F(xiàn)acebook 的副總裁和首席人工智能科學(xué)家，CIFAR（加拿大高等研究院）機(jī)器與大腦學(xué)習(xí)項(xiàng)目的聯(lián)合主任。他在機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、移動(dòng)機(jī)器人和計(jì)算神經(jīng)科學(xué)等領(lǐng)域都有很多貢獻(xiàn)。他最著名的工作是在光學(xué)字符識(shí)別和計(jì)算機(jī)視覺上使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)，他也被稱為卷積網(wǎng)絡(luò)之父。他1983年從位于巴黎的 Ecole Superieure d'Ingénieur en Electrotechnique et Electronique (ESIEE)， 獲得了Dipl?me d’Ingénieur（工程師學(xué)位），1987年從巴黎第六大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位。博士在學(xué)期間，他提出了神經(jīng)網(wǎng)絡(luò)的反向傳播學(xué)習(xí)算法的原型。
主要貢獻(xiàn)：卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks）；改進(jìn)反向傳播算法（Improving back propagation algorithms）；擴(kuò)大了神經(jīng)網(wǎng)絡(luò)的適用范圍（Broadening the vision of neural networks）
（編者按：本文內(nèi)容參考了Google Translate提供的翻譯，機(jī)器翻譯技術(shù)的進(jìn)步很大程度上也得益于三位獲獎(jiǎng)?wù)咚l(fā)明的技術(shù)，感謝他們：））
參考資料：
1. https://awards.acm.org/about/2018-turing
2. https://zh.wikipedia.org/wiki/%E6%9D%A8%E7%AB%8B%E6%98%86
3. 《深度學(xué)習(xí)》作者: [美] 伊恩·古德費(fèi)洛/ [加] 約書亞·本吉奧/ [加] 亞倫·庫維爾
制版編輯 | 皮皮魚
