專訪虎媽的爸爸、憶阻器之父蔡紹棠
在 ASC19 超算總決賽期間,4月24日舉辦的“第21屆HPC Connection Workshop國際超算高峰論壇”上,蔡紹棠教授發(fā)表了超算與憶阻器的演講。(攝影:邸利會)
撰文 | 邸利會
“虎媽”這個名號可能很多人都知道,她曾因?yàn)閷懥艘槐窘逃优臅痘寫?zhàn)歌》(Battle Hymn of the Tiger Mother)在歐美引起巨大爭議——很多華人認(rèn)為是習(xí)以為常的教育方式,在一般的美國人看來是過于嚴(yán)格了。
虎媽是耶魯?shù)姆▽W(xué)教授,能培養(yǎng)出這樣一位女兒,想必她的父親也不簡單。事實(shí)上,她的父親的確很厲害。
她的父親Leon Ong Chua(中文名蔡紹棠),是伯克利的教授,他在非線性線路理論和細(xì)胞式類神經(jīng)網(wǎng)絡(luò)理論上有很大的貢獻(xiàn),他發(fā)明的“蔡氏線路”第一次在實(shí)際中演示了混沌現(xiàn)象,而且他在1971年的文章中預(yù)測了憶阻器的存在,37年后,由惠普的一個研究小組得以實(shí)現(xiàn),實(shí)際造出了這一器件,他被稱為“憶阻器之父”。
在今年4月21-25日于大連理工大學(xué)舉行的2019 ASC世界大學(xué)生超級計(jì)算機(jī)競賽總決賽中,Leon作為大賽評委以及國際超算高峰論壇的演講人也受邀出席,借此機(jī)會,《賽先生》采訪了Leon教授,就當(dāng)下火熱的深度學(xué)習(xí)、類腦計(jì)算、憶阻器的發(fā)展甚至如何教育子女,詢問了他的看法。
在4月25日的2019 ASC世界大學(xué)生超級計(jì)算機(jī)競賽總決賽頒獎典禮結(jié)束后,蔡紹棠教授接受了《賽先生》的獨(dú)家專訪。
賽先生:今天我們談人工智能,會認(rèn)為卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)是一個基石,但很多研究者也在研究類腦計(jì)算,你怎么看待如此不同的兩種途徑,誰可以通向真正的人工智能?
Chua: CNN是否代表了未來?我想還需要再看幾年。現(xiàn)在,能看到發(fā)表出來的一些好的結(jié)果,但炒的太熱了。這些做的好的是一些簡單的情形,即使是這些簡單情形,依然不夠?qū)嵱?,消耗了大量的金錢、能量和時間,學(xué)一些簡單的任務(wù)就需要好幾周、好幾個月來學(xué),整個過程是很昂貴和耗時的。
隨著對大腦認(rèn)識的逐步深入,我覺得真正的人工智能才剛剛開始?,F(xiàn)在,沒有人真正知道大腦是如何工作的,沒有人知道為什么深度學(xué)習(xí)有效果,它就是有效果,不像之前那樣能解釋原因。如果能解釋的話,就能證明,但現(xiàn)在還沒有這樣的知識。深度學(xué)習(xí)是實(shí)驗(yàn)上有效果,短時間內(nèi)好像不太能找到原因(為什么有效果)。
即使(可解釋)最后得到了解決,實(shí)際中,訓(xùn)練模型、找到最佳的參數(shù),也是得花很長時間才能找到答案。因?yàn)樵趪迳蠙C(jī)器戰(zhàn)勝了人類,深度學(xué)習(xí)獲得了大眾關(guān)注,令人印象深刻,但也是得花很大的能量、時間去訓(xùn)練一個人工智能的棋手。
CNN是有效果的,但不實(shí)用,這是我現(xiàn)階段能說的。
我想類腦計(jì)算是未來的方向。不過,這取決于兩個方面的同步發(fā)展,一是發(fā)展神經(jīng)形態(tài)算法(neuromorphic algorithms),二是發(fā)展能實(shí)現(xiàn)這些算法的設(shè)備。
因?yàn)榧词鼓阌欣碚?,依然需要花時間(才能得到結(jié)果),但如果你有設(shè)備,就像我今天提起的憶阻器,因?yàn)槲覀冋劦氖欠浅?斓奶幚?,不存在?jì)算,(就會很快)。我們今天所有人工智能做的計(jì)算,都得計(jì)算機(jī)花很長時間來解方程。如果你用憶阻器作為一個重要部件,那就不會是解什么方程,它就是方程本身, 芯片自身、設(shè)備自身,方程就是答案。
首先,憶阻器非常小,如果要像腦一樣處理,必須得小;第二,消耗的能量必須少,憶阻器消耗一點(diǎn)點(diǎn)能量,而且很快。今天符合這兩點(diǎn)的(其他設(shè)備)還不存在,它們都需要用超級計(jì)算機(jī)去緩慢地解方程。
賽先生:細(xì)胞式類神經(jīng)網(wǎng)絡(luò)(Cellular neural networks,CNN),也稱作CNN,和卷積神經(jīng)網(wǎng)絡(luò)有什么關(guān)系?
Chua: 你可以說,深度學(xué)習(xí)是幾種神經(jīng)網(wǎng)絡(luò)的一般化。細(xì)胞式類神經(jīng)網(wǎng)絡(luò)是我大約35年前發(fā)明的, 第一本書就叫做《細(xì)胞式類神經(jīng)網(wǎng)絡(luò)》,甚至基本的方法在我的書里叫做模版(templates),人們或許不知道,因?yàn)槟莻€時代不是人工智能的時代。有意思的是,卷積神經(jīng)網(wǎng)絡(luò)和細(xì)胞式類神經(jīng)網(wǎng)絡(luò)是同一個名字,但CNN這個詞首次出現(xiàn)時,CNN電視臺說我抄襲了他們,差點(diǎn)起訴我,然后我給他們一篇論文說,我們是比你們早的,早于伊拉克戰(zhàn)爭,我是第一個用CNN的,如果你仔細(xì)看卷積神經(jīng)網(wǎng)絡(luò)的方程,實(shí)際上是細(xì)胞式類神經(jīng)網(wǎng)絡(luò)的一般化。
賽先生:和我們分享一下1983年發(fā)明蔡氏電路的故事?
Chua: 那是一個非常重要的進(jìn)展,在七八十年代的時候,大家對混沌很有興趣,基本的論文是來自MIT的一位數(shù)學(xué)家Edward Norton Lorenz,他是第一個提出一個非常簡單的非線性的方程,如果用計(jì)算機(jī)去解,答案是混沌的。通常,答案的解是周期性的。我們想象自然也是周期性的。如果是非常的非線性,可能結(jié)果就永遠(yuǎn)不是周期性的,那就必須持續(xù)永遠(yuǎn)進(jìn)行下去,這叫做混沌。
這是一個非常基本的發(fā)現(xiàn),之后幾百篇論文相繼發(fā)表,但都是從數(shù)學(xué)角度的,沒有人用一個實(shí)際的機(jī)制或者說是機(jī)器可以真的看到混沌。我決定發(fā)明這種線路,希望能實(shí)現(xiàn),第一,這是混沌的,第二,當(dāng)數(shù)學(xué)上解決的話,能給出觀察。這樣,我就說服了所有人,混沌不僅僅是一個數(shù)學(xué)的概念,混沌是真的。
我知道,這樣一個線路必須是非線性的,必須有至少三個動力要素,比如2個電容,1個電感。我決定設(shè)計(jì)這樣的電路,不僅能表現(xiàn)混沌,而且是最簡單的,如果不是最簡單的,人們會感到害怕。因?yàn)槲业谋尘笆欠蔷€性電路理論,所以我知道怎么做。
這是第一個這樣的線路,我發(fā)明了它,而且迄今還是最廣泛使用的,最簡單的。在其他的一些實(shí)際的系統(tǒng),甚至是機(jī)械系統(tǒng)中,人們也發(fā)現(xiàn)有線路有混沌,但都太復(fù)雜了,可我的系統(tǒng)花5美金就可以做一個,非常便宜,也很容易理解。
這就是蔡氏線路,我沒有以自己的名字命名,而是我的一位同事建議,你是第一個做出實(shí)現(xiàn)混沌的線路,建議在發(fā)表文章的時候題目中加我的名字。
賽先生:您預(yù)測存在憶阻器這樣一個東西,37年后才被一個研究團(tuán)隊(duì)實(shí)現(xiàn),為什么會經(jīng)歷這么久?
Chua: 在我1971年的論文中,我實(shí)際創(chuàng)造了3個(憶阻器),但這個被物理學(xué)家稱作是對原理的證明(proof of principle),用了一個箱子大的線路,也需要電池,不是特別實(shí)用。要變的實(shí)用,需要用比較簡單的材料造,去掉電池。為什么花了這么長的時間呢?原因是憶阻器要變得有效,必須要很小。
你知道摩爾定律,每兩年的時間,晶體管數(shù)量翻一倍,速度翻一番,價格變成原來的1/2,這樣經(jīng)歷了30多年的時間,但當(dāng)晶體管越來越小,到納米級時,再變小的同時要保持仍然工作就很困難,成本也增加了,因?yàn)槭艿搅肆孔有?yīng)的影響。
而憶阻器的發(fā)展正好是變的越來越小,直到能工作。這就正好挽救了局勢,因?yàn)楸仨毞浅P?,才能讓憶阻器有效果,這就像大腦一樣,大腦有神經(jīng)元,有突觸,突觸很小。別忘了我們是在納米尺度上討論問題,這就是為什么經(jīng)歷了這么長的時間,要達(dá)到這么小,就得等技術(shù)的發(fā)展,等無法用這樣的技術(shù)造晶體管時,我們就可以用來做憶阻器,憶阻器是越來越小,但會越來越好。
賽先生:在后摩爾時代,我們看到很多技術(shù)在發(fā)展中,比如行業(yè)特定設(shè)計(jì)、量子計(jì)算、3D堆疊,也有新的材料,比如碳納米管等,憶阻器在這片看起來混亂的情形中將扮演怎樣的角色?
Chua: 量子是非常不同的另外一個門類,目前沒有人能建造一個實(shí)用大小的東西,花費(fèi)不菲,主要的應(yīng)用在安全領(lǐng)域。碳納米管、憶阻器以及其他設(shè)備,他們不是互相競爭,而是互相幫助,碳納米管是二十年前的,現(xiàn)在仍然難,是因?yàn)楹茈y在一個實(shí)際的系統(tǒng)中去用。這是憶阻器不一樣的地方,如果你對建造類腦的機(jī)器感興趣,如果要有這樣一個機(jī)器,你必須用憶阻器,因?yàn)槟X是這樣工作的,你想拷貝大腦,至少得有如此行為的器件。
賽先生:說起存儲技術(shù),您覺得憶阻器、自旋器件、相變存儲、flash等新的存儲,您看好哪一種呢?
Chua: Intel 已經(jīng)在做flash,相變存儲也是一種憶阻器,只是不同的名字,即使是自旋器件也是憶阻器。所有今天的計(jì)算機(jī),iPhones, 高性能計(jì)算機(jī)都是基于開關(guān),有高壓,有低壓,有高的電流,低的電流,然后用0和1表示,所有的這些都得需要電,如果沒有電,一切都沒了。憶阻器不需要電,不需要用電壓、電流、充電來表示信息,它用電阻,電阻是一種性質(zhì),它不需要電才有這個性質(zhì),性質(zhì)就已經(jīng)在那里了,所以憶阻器是獨(dú)特的,不是易變的。所以,商業(yè)目的的投資就來了。相變存儲是一個這樣的產(chǎn)品,Intel已經(jīng)在出售;富士通,一家日本的公司,已經(jīng)在出售內(nèi)存ReRAM(Resistive random access memory),其實(shí)也是憶阻器。
因?yàn)閼涀杵魇且粋€概念,不是一個發(fā)明,是一個發(fā)現(xiàn)。發(fā)明和發(fā)現(xiàn)是很不一樣的。
最簡單的一個例子,是哥倫布發(fā)現(xiàn)了新大陸,不是發(fā)明了新大陸。發(fā)明是短暫的,因?yàn)闀行碌脑O(shè)備出現(xiàn),然后舊有的就會被替代。但如果不是哥倫布發(fā)現(xiàn)了新大陸,也總會有人發(fā)現(xiàn)的,因?yàn)樗呀?jīng)在那了。憶阻器是一個概念,是一種發(fā)現(xiàn),能經(jīng)受時間考驗(yàn)而不變的,我想這個是很根本的不同。這些設(shè)備都是進(jìn)一步的證明,他們都是憶阻器,所有的都是基于電阻作為信息,這是最需要澄清的。
賽先生:請您談一下憶阻器的研究,過去有哪些里程碑,還需要哪些問題需要克服?
Chua: 第一個憶阻器是在我1971年的論文中出現(xiàn)的,然后37年間,沒有發(fā)生什么,我把它稱之為37年的漫長冬天。 2008年,惠普的R. Stanley Williams領(lǐng)導(dǎo)的一個團(tuán)隊(duì)首次造出了一個真實(shí)的憶阻器。他是我的英雄,他復(fù)活了憶阻器,要不然還在沉睡當(dāng)中。當(dāng)惠普在《自然》雜志發(fā)表這個論文后,每個人都很興奮,大量的資金投入,開始著手做。首先,這個文章在《自然》發(fā)表,很多人覺得很重要;第二,這個時候的憶阻器已經(jīng)比較小了,17納米。你知道病毒很小,顯微鏡下都看不到,但最小的病毒才25納米,比病毒還小。上個月剛剛發(fā)表的工作,已經(jīng)有2納米的憶阻器。
賽先生:很多研究者喜歡追逐流行的、熱的題目,他們相信要不出版,要不滅亡,現(xiàn)在有關(guān)AI的論文已經(jīng)成千上萬,您有怎樣的建議?
Chua: 我想首先說的是,深度學(xué)習(xí)是真的,但發(fā)太多論文了。雖然有幾個令人印象深刻的例子,比如阿爾法狗,還有診斷癌癥,這些很重要,但這些并不是深刻的東西,僅僅是暴力求解,只要做的足夠,就會給你一個答案,而且很昂貴。要明白為什么深度學(xué)習(xí)有效,也不是那么容易。
賽先生:我們最后聊一下您的女兒,她或許比您還有名,虎媽。對于如何教育子女,您是怎么看的?
Chua: 如果你想達(dá)成某件讓大家印象深刻的成績,想在眾人中出類拔萃,你就必須努力工作,你不會憑白無故的就獲得一些東西。如果你真的想特別杰出,你還得犧牲。
她的書不是寫怎么培養(yǎng)聰明的孩子,而是寫她自己的故事。她是耶魯?shù)姆▽W(xué)教授,她不需要寫一本那么技術(shù)性的書,她是在休假的時候,沒什么事,就寫了這個故事,她沒說,你們必須學(xué)我,但因?yàn)楣适率钦娴?,所以就引起了關(guān)注。
她有兩個女兒,都很努力,大女兒每天練習(xí)6個小時的鋼琴,在很小的時候,就在卡耐基音樂廳表演鋼琴,要在那個地方表演,那是職業(yè)人士或者天才去的地方。但她女兒不是天才,但因?yàn)榕毩?xí),就和一個優(yōu)秀的音樂家一樣好,她就被邀請去進(jìn)行表演。這表示,努力工作會產(chǎn)生好的結(jié)果。
當(dāng)然,這引起了很多批評,因?yàn)槊绹撕茏杂?,他們不想孩子工作太努力,但你不能兩邊占便宜(You can't have your cake and eat it)。開始有很多郵件攻擊她,但慢慢的人們明白了,我女兒的原意也不是倡導(dǎo)逼迫,她在電視上也解釋了自己的看法?,F(xiàn)在很多人也轉(zhuǎn)變了他們的看法?,F(xiàn)在這兩個女兒都上了哈佛。