天才科學“玩”家、信息論之父的游戲人生
撰文丨張?zhí)烊?/span>
● ● ●
他自稱是一個不關(guān)心政治的無神論者，他小時候玩發(fā)明，長大后玩數(shù)學，老了玩股票，什么好玩就玩什么，科學技術(shù)領(lǐng)域給玩了個遍。他不在乎這樣東西有沒有實用價值，不管那套理論有無學術(shù)意義，不考慮做的事情對公司有無貢獻，不管這個問題是否重要，他只管好玩還是不好玩。
他的名字算不上廣為人知，但他被譽為信息論之父。他，就是香農(nóng)。
愛迪生的小親戚
克勞德·香農(nóng) （Claude Shannon，1916年－2001年）出生成長于美國中部密歇根州一個小鎮(zhèn)，有趣的是，香農(nóng)的父親給兒子取了一個和自己一模一樣的名字[1]。老克勞德·香農(nóng)是歐洲早期移民的后代，曾自主創(chuàng)業(yè)經(jīng)商并取得成功，還做過當?shù)氐倪z囑檢驗法官。香農(nóng)的母親是德裔移民的女兒，當時少見的進過大學的女性，職業(yè)是語言學教師，還做過中學校長。香農(nóng)還有一個姐姐，則得了一個和母親一模一樣的名字。香農(nóng)一家在小鎮(zhèn)上頗得人心：父母的職業(yè)和為人均受人尊敬。比香農(nóng)大6歲的姐姐是個聽話的孩子，優(yōu)秀的學生，在學校各門功課成績都很好，是現(xiàn)在被人們稱為“學霸”式的人物。香農(nóng)呢，他異常瘦弱，身上皮包骨頭、臉龐棱角分明，言語不多，卻又格外聰明，在小城鎮(zhèn)里，他看起來永遠像是那種剛剛被人欺負毆打過，令人心生同情的年輕小伙。
香農(nóng)小時候最喜歡玩的是電氣電子機械，他崇拜托馬斯·愛迪生。不過后來他知道了，愛迪生竟然是自己的遠房親戚，便十分引以為傲。
使小香農(nóng)自豪的，除了大發(fā)明家愛迪生之外，還有他的爺爺戴維·香農(nóng)，爺爺是一位農(nóng)場主兼發(fā)明家，頗具機械方面的才華，他對早期的洗衣機進行了一系列改進，擁有美國第407130號專利。
看來，發(fā)明的天賦也是能遺傳的。小玩家香農(nóng)有著一顆愛發(fā)明的心，將撥弄機械當作玩耍，他經(jīng)常在家里搗鼓模型飛機、也制作用無線電控制的模型船。除了格外愛玩，他的童年卻也分外孤獨。因為當時他所處的小鎮(zhèn)，人煙稀少，密歇根廣袤的農(nóng)地中，偶見幾條街道和少許店鋪，最近的朋友，也住在半英里之外。于是，香農(nóng)發(fā)揮他擺弄物件的天賦，自建了一個可以與朋友聯(lián)系的無線電臺。香農(nóng)的經(jīng)驗不斷積累，高中畢業(yè)時，他已經(jīng)是一名嫻熟的發(fā)明家。他的發(fā)明包括簡易升降機、后院小推車和通過帶刺鐵絲網(wǎng)傳遞加密消息的電報系統(tǒng)，等等。
除了發(fā)明小機械外，香農(nóng)也表現(xiàn)出驚人的數(shù)學天賦。據(jù)說在8歲的時候，他就能做出他學數(shù)學的姐姐的高等數(shù)學作業(yè)。1934年，香農(nóng)于17歲的時候，在《美國數(shù)學月刊》上發(fā)表了他的第一篇學術(shù)文章。他解出了一道數(shù)學難題，第一次向公眾展示了他的數(shù)學才能。既會發(fā)明又能數(shù)學抽象，這兩點成就了香農(nóng)，使他造福于人類！
“最著名的碩士論文”
1932 年，16歲的香農(nóng)進入密歇根大學，在他鐘愛又好玩的數(shù)學和電子工程兩個專業(yè)之間游蕩，幾年后，20歲的香農(nóng)獲得了這兩個專業(yè)的本科學位。臨近畢業(yè)時，公告欄上一則廣告引起了他的興趣。說的是時任麻省理工學院院長萬內(nèi)瓦爾·布什提供了一個研究生職位，合格者在讀碩士的同時，還需要為布什教授操作管理他的一臺微分分析機。據(jù)說這是一個重達百噸、由轉(zhuǎn)動的軸承和齒輪構(gòu)成的奇怪機器，在新聞中被譽為“機械大腦”或“思考機器” ：它能做高等數(shù)學，解出人類要花數(shù)月才能求解的方程！
那是第一次世界大戰(zhàn)后，世界經(jīng)濟重心由歐洲轉(zhuǎn)到美國，貝爾實驗室、通用電氣、麻省理工，成為美國電氣工程應用的三大中心。隨著機械和電氣技術(shù)走向成熟，許多領(lǐng)域都對計算有迫切的需求。例如無處不在的微分方程，它們很少能有解析解，枯燥乏味的大量計算令人頭疼。因此，布什教授設(shè)計了“微分分析機”來解決此類難題。用如今的術(shù)語來說，這部機器是模擬的而非數(shù)字的，其輪盤式積分器便是微分方程的物理模擬。無論如何，機器在當年還是很有用處，師生們蜂擁而來，排長隊求用它以解決工程中的難題。布什已經(jīng)難以應付，所以急需一名助手來操作、研究、和改進這個機器。
這個消息對臨近畢業(yè)的香農(nóng)來說，當然是天上掉餡餅，一個求之不得的好機會。而布什得到香農(nóng)這樣的機械電氣都懂的全才也是正中下懷。于是，香農(nóng)順利進入麻省理工學院深造，那年頭，MIT的校園里，便多了一道風景！香農(nóng)“玩”名遠播，有人說：這個校園里，如果你看見一個年輕人，目光深邃面龐瘦削，騎著一架怪異的獨輪車，從你身旁飛駛而過，那多半是香農(nóng)！
香農(nóng)很快就深深地迷上了這架大玩具。那些旋轉(zhuǎn)不止的模擬部件，分布在一個大大的平臺式機器上，電源插上機器啟動，整個房間喳喳作響。這種人們不喜歡的噪聲，卻令發(fā)明家欣喜無比。
微分分析儀是由布什和哈森于 1928 年到 1931 年建造的。兩位工程師制造它是為了解決應用數(shù)學和物理領(lǐng)域中的實際問題，即求解微分方程。這實際上是一臺由傳動軸、齒輪和轉(zhuǎn)盤組成的復雜的模擬計算機。在工程和物理學的動態(tài)系統(tǒng)中，如果兩個物理量之間有某種數(shù)學關(guān)系，例如微分或積分的關(guān)系，便可以從這個動態(tài)系統(tǒng)的實際運作來完成該種數(shù)學計算，稱之為模擬計算，該系統(tǒng)便是一臺模擬計算機。
布什的MIT微分分析儀最重要的構(gòu)件是六個積分器，機械積分器的歷史可以追溯到 19 世紀，它能夠用動態(tài)系統(tǒng)中具積分函數(shù)關(guān)系的兩個物理量，來模擬積分運算。機械積分器基本上是一個特別的求和機器，見圖3。每一個積分器對應一個一階微分方程。布什發(fā)現(xiàn)了一種將積分器串聯(lián)起來解決高階微分方程的方法。因此，他的包括六個積分器的微分分析儀，能夠求解高達六階的微分方程。
香農(nóng)喜歡機械，當然對微分分析儀感興趣，布什供給了許多元器件，希望香農(nóng)能將機器朝更通用更自動化的方向改進，香農(nóng)打算用上百個繼電器來達到目的。他看著那些似乎不作聲又偶爾咔嚓一下的繼電器，覺得十分有趣。香農(nóng)腦海中浮現(xiàn)出傳遞信息的摩爾斯碼，繼電器很像發(fā)送摩爾斯碼使用的開關(guān)，香農(nóng)又回憶起不久前上過的一門符號邏輯課程，其中有布爾代數(shù)。
布爾代數(shù)得名于自學成材的英國數(shù)學家布爾，他在1847年出版的一個小冊子中介紹了這種代數(shù)邏輯系統(tǒng)，人們覺得這很有趣，但似乎沒有什么實際用處。美國邏輯學家皮爾士曾經(jīng)提出可以通過電氣開關(guān)進行布爾計算，也沒得到廣泛的響應。
開關(guān)是電路器件，布爾邏輯是數(shù)學運算，兩者看上去似乎風馬牛不相及，但香農(nóng)卻感覺似曾相識，覺得這兩者有相通之處，他想，這其中也許有文章可做！
接著，香農(nóng)在1937年夏，到紐約的貝爾實驗室實習了一個暑假，有關(guān)開關(guān)和布爾邏輯，這些令人困擾的想法，在他腦海里一直揮之不去。
香農(nóng)進一步思考后發(fā)現(xiàn)，繼電器“開、關(guān)”，或“是、否”，其實并不重要，關(guān)鍵的是這兩種類型連在一起時，可以被邏輯中的“和”、 “或”、 “非”等等表述出來。例如，兩開關(guān)串聯(lián)即是“和”，并聯(lián)則是“或”。其實，這就是在做計算。也就是說，電路可以進行邏輯運算！
布爾代數(shù)中的每個概念在電路中都有相對應的物理表示。操作電路繼電器的人在實際上知道這些電路原則，但他們沒有把他們所做的事情抽象成布爾代數(shù)的數(shù)學模型。因此，布爾邏輯可以實現(xiàn)到符號再到電路的飛躍。只要定義好了邏輯符號，由繼電器組成的復雜電路的效應，便可以表示成多個變量二進制的代數(shù)方程式。比如，以下方程式：
x'y'z + x'yz + xy'z + xyz' + xyz
可以表示一個3個繼電器構(gòu)成的電路。
這個21歲的青年，覺得這個想法非常有趣，他興奮激動于自己從開關(guān)盒子和繼電器中看到了別人沒有看到的東西。1937年秋，香農(nóng)在美國華盛頓哥倫比亞特區(qū)向評委會演示了自己的碩士論文《繼電器和開關(guān)電路的符號分析》，并在第二年發(fā)表在期刊上。
香農(nóng)在論文中，分析了電話交換電路和布爾代數(shù)之間的類似性，用布爾代數(shù)分析并優(yōu)化了開關(guān)電路。香農(nóng)的這篇碩士論文，具有劃時代的意義。它奠定了數(shù)字電路的理論基礎(chǔ)。因此，有科學家評價這篇論文是“有史以來最重要的一篇碩士論文”，“從藝術(shù)到科學上改變了電路的設(shè)計” 。香農(nóng)將電路設(shè)計的技術(shù)變成了一門科學！
因為這篇論文，香農(nóng)獲得了電子工程界的大獎——美國Alfred Noble協(xié)會的美國工程師獎。這給香農(nóng)帶來了在電子工業(yè)界大展拳腳的好機會，然而，他卻似乎從這個領(lǐng)域消失了。
香農(nóng)于1939年夏天，來到了冷泉港，抵達了美國最頂尖的基因?qū)嶒炇?。原來他改弦更張，從電子工程跨界到了生物，試圖將他的“代數(shù)”理論應用于新興的遺傳學，他玩起基因來了！兩年后，他完成了博士論文——《理論遺傳學的代數(shù)》，用線性代數(shù)描述不同遺傳性狀在遺傳中的可能性，用一種奇怪的符號代數(shù)，來預測性狀是如何代代相傳的。
那時候，尚未發(fā)現(xiàn)DNA螺旋結(jié)構(gòu)，也不知道遺傳密碼等等，香農(nóng)是完全在自己頭腦中構(gòu)想遺傳機制的，并企圖用代數(shù)理論模型去描述遺傳現(xiàn)象。
1940年香農(nóng)以此論文，獲得了麻省理工的數(shù)學博士學位，并且得到了普林斯頓高等研究院的博士后機會。在那兒，香農(nóng)能自由地跨學科工作，他有機會與外爾和馮·諾依曼等數(shù)學家討論他的想法，還偶爾遇到愛因斯坦和哥德爾[2]。
計算、密碼、信息
被譽為計算機之父，比香農(nóng)大4歲的圖靈，比香農(nóng)更為公眾所知。但實際上，他們兩人的思想和經(jīng)歷有很多相似之處：都對機器計算感興趣，都研究過密碼，都曾經(jīng)將數(shù)學應用于生物學，都喜歡思考人工智能的問題，等等。遺憾的是，他們一個在英國一個在美國，生前很少見面。感慨的是他們后來的境遇：圖靈因性取向受迫害早逝，香農(nóng)“玩”到八十多歲高齡，老年癡呆去世。
二戰(zhàn)期間的1943年初，在美國貝爾實驗室的餐廳里，兩位天才少年一見如故。圖靈那年被派往美國，來到新澤西，目的是為了給大西洋兩岸傳輸?shù)耐ㄔ拑?nèi)容加密，使敵人無法監(jiān)聽盟軍情報。香農(nóng)戰(zhàn)時從普林斯頓高等研究院，轉(zhuǎn)到了貝爾實驗室，研究如何對華盛頓到倫敦的通信線路進行加密的課題。盡管我們現(xiàn)在知道他們那時都在研究密碼，但各自的專題項目，分別是兩個國家的絕對機密，所以兩人都不知道對方在搞啥？飯?zhí)美锏拈e聊也不涉及解密技術(shù)。不過，他們有太多的共同話題和想法，那些日子他們閑聊的是“會思考的機器”，也就是理想的計算機的極限是什么的問題。那年代還沒有人知道計算機到底將是什么模樣！所以他們的探討大多基于數(shù)學和邏輯，兩人想都沒想過，他們將在科學史上各自開辟一個獨立的領(lǐng)域。
圖靈從更為數(shù)學的視角出發(fā)，認為理想的計算機應該是純粹邏輯演繹的設(shè)備，而熱衷于發(fā)明的香農(nóng)則考慮得更廣泛，他認為計算機將是一種社會性的工具，甚至能處理音樂等非邏輯性的東西。
于是，圖靈向香農(nóng)展示了他 1936 年的論文，就是定義了現(xiàn)在所謂的“通用圖靈機”的那篇文章。這給香農(nóng)留下了深刻的印象，因為其中的許多想法與他自己的想法不謀而合相輔相成。圖靈的工作使香農(nóng)靈感忽現(xiàn)，他發(fā)現(xiàn)，有些看似截然不同的事物其實具有共同的本質(zhì)。
圖靈在與香農(nóng)交流“通用圖靈機”的過程中也大為振奮，兩人討論時說話的聲音不由自主地越來越大，甚至引起周圍用餐人紛紛注目。香農(nóng)從電子工程師的視角，看到了圖靈機的實用價值，這點使圖靈激動不已，也讓圖靈站到數(shù)學之外，對圖靈機的意義重新思考。會思考的機器，或許真的可以用電路而變成現(xiàn)實嗎？圖靈覺得這太有趣了！因此，他在離開美國之前，買了一本電路入門書，把它帶到回英國的船上，如饑似渴地閱讀起來。
圖靈在密碼方面的工作主要是破解了德國人發(fā)明的ENIGMA密碼，這種密碼被德軍廣泛使用，包括定位出沒于大西洋運輸線上的潛艇。當年的英國人和法國人都認為ENIGMA是不可破譯的，圖靈率領(lǐng)著大約200多名精干人員進行密碼分析，他們掌握了破譯該密碼的一整套方法，從而了解了德軍的動向，掌握了戰(zhàn)爭的主動權(quán)，為英美聯(lián)軍擊敗德國做出了突出貢獻。
香農(nóng)在密碼學方面的工作，則與其后來關(guān)于通信理論的關(guān)系密切。香農(nóng)自己說，他對通信理論和密碼學的戰(zhàn)時見解是同時發(fā)展的，“它們是如此緊密地結(jié)合在一起，你無法將它們分開”。
實際上，香農(nóng)更早就有了模糊的想法。在1939年初，他在寫給布什的信中說到，除了微分分析機外，他還在考慮一個自認為更重要的問題：“我一直在研究傳遞信息的一般系統(tǒng)的某些基本屬性，它們包括電話、廣播、電視和電報等。幾乎所有的通信系統(tǒng)都可以歸結(jié)為如下的一般形式：信息從發(fā)送方到接收方，其中涉及三個“時間函數(shù)”，待傳輸?shù)某跏夹畔i(t)，中間信號f(t)，以及最終輸出ff(t)?！保@就是香農(nóng)設(shè)想的通訊過程，見圖5a。
香農(nóng)認識到，真實的系統(tǒng)中還存在噪聲，并且他試圖證明一些定理，來數(shù)學地描述通信系統(tǒng)。在貝爾實驗室，研究數(shù)字通信中的信息保密和隱藏技術(shù)的一系列工作，成就香農(nóng)建立了現(xiàn)代信息論。1948年，作為此項工作的總結(jié)報告，香農(nóng)發(fā)表了論文“通信的數(shù)學原理”[3]，1949年，他又發(fā)表了“噪聲下的通信”一文。幾篇文章闡述了信息論的基本內(nèi)容。
我認為信息論是科學中最美的理論之一，它美在哪里呢？美在其通用性，美在它的簡潔，并且，尤為可貴的是：它美在簡潔與深奧并存[4]。
圖5中簡單的兩個圖，就幾乎概括了信息論的全部內(nèi)容。其中的圖a描述了信息的傳輸過程，這不僅適宜于通訊，還有計算機、遺傳學、生物學、物理及化學過程等。事實上，信息及其傳輸過程無處不在，因此，信息論幾乎可以推廣應用到所有領(lǐng)域。
如何用數(shù)學語言描述信息傳輸過程？為此香農(nóng)定義了信息的基本概念，見圖5b。
什么是信息？信息的概念既抽象又多變，信息既不是物質(zhì)，也不是能量，要給信息這個人人明白又抓不住摸不著的東西，下確切定義是不容易的。可以毫不夸張地說：幸虧有了香農(nóng)！作為玩遍種種技術(shù)的工程師，香農(nóng)深刻理解“信息”之本質(zhì)；作為善于抽象的數(shù)學家，香農(nóng)明白必須首先給信息一個定量描述，量化后才有理論！物質(zhì)和能量都是可度量的，如何度量信息呢？
香農(nóng)借用了熱力學中的一個詞：熵?；蛟S在學術(shù)界關(guān)于信息理論的辯論中，馮·諾爾曼和維納（ Wiener）對香農(nóng)都有所啟發(fā)，但無論如何，是香農(nóng)最終提出了“信息熵”的概念和表達式（圖5b）。信息熵公式中，香農(nóng)天才而巧妙地將信息與概率聯(lián)系起來，揭示了信息是“不確定性的度量”這個微觀本質(zhì)。
用過計算機的人對“比特”這個詞不會陌生，但你可能不知道，比特是香農(nóng)定義的信息的單位，計算過程就是傳遞信息，所以自然而然地，比特也成為了衡量計算機運算及儲存能力的重要指標。
這兒舉“語言信息”為例，簡單理解一下圖5b的公式。例如，人們說一句話，其中的信息是一個“字符串”，例如“我是馬斯克”，這是5個漢字符號組成的字符串。信息熵H是由字符串中所有符號xi的概率p(xi)乘以概率的對數(shù)再求和所確定的，每個符號xi的信息量，與符號通常出現(xiàn)的概率（不確定性）有關(guān)。因此，香農(nóng)的信息論公式，在信息與不確定性和混亂程度之間架起了橋梁，這是信息與自然界的深層聯(lián)系。
傳奇人物銷聲斂跡
這兩年最火的科學新聞首推“AI”，即人工智能，殊不知香農(nóng)也是AI先驅(qū)之一。
香農(nóng)在 1950 年左右發(fā)表的一篇論文《計算機下棋程序》里描述了如何讓計算機下國際象棋。此文被認為是最早發(fā)表的關(guān)于計算機下棋和使用計算機解決游戲主題的文章之一，其中他提出了限制國際象棋游戲中要考慮的可能性數(shù)量的基本策略。香農(nóng)給出了國際象棋的復雜度，大約是 1012? 量級（被稱為“香農(nóng)數(shù)”），不過他在論文中給出了一個更為明智的算法，可以大幅度地簡化計算。1997 年，由這篇論文演化出來的算法，在“深藍”中運行，成功擊敗了卡斯帕羅夫。
香農(nóng)大多數(shù)學術(shù)成果都是上世紀60年代之前完成的，然后，他就不“玩”學術(shù)而玩別的去了。
“你無憂無慮的秘訣是什么？”一位采訪者在香農(nóng)臨終前詢問他，香農(nóng)回答說：“我一生順其自然，實用性不是我的主要目標……”。總結(jié)香農(nóng)能無憂無慮地“玩”，首先肯定是拋棄了世俗名利的紛擾，好奇心驅(qū)動他對大自然的探索。終其一生，香農(nóng)都在玩游戲、發(fā)明游戲、擺弄小機械和小裝置，即便成年之后也保持著那份童真之心。
1951年，香農(nóng)發(fā)表論文“介紹一個走迷宮的機器”，寫的是他制造的名為“忒修斯”（Theseus）的機器老鼠，迷宮配置靈活，可重新布置任意修改。機械鼠在 25 個方格迷宮中移動，通過反復試探后自己找到迷宮的出路。老鼠第一次穿過迷宮后，如果將它放置在之前去過的地方，它可以根據(jù)之前的經(jīng)驗，直接就到達目標。如果被放置在不熟悉的區(qū)域的話，便會被編程為“搜索”，然后逐步搜索直到成功。成功后，它會將新知識添加到其記憶中并學習新的行為，你看看，這像不像如今的AI學習機器？
香農(nóng)是一個狂熱的獨輪車愛好者，他喜歡設(shè)計和制造各種稀奇古怪的獨輪車。他發(fā)明了名為 THROBAC 的羅馬數(shù)字計算機和雜耍機；他建造了一個可以解決魔方難題的設(shè)備；他還與索普共同發(fā)明了第一臺可穿戴計算機，用于提高玩輪盤賭時的賠率。他設(shè)計了一個“心靈閱讀”機器，通過觀察和分析弈棋對手過去所做各種選擇的樣本，能夠相當準確地猜測到對手下一步棋的走法。
雖然香農(nóng)一直是MIT教授，但因為癡迷玩發(fā)明創(chuàng)造，后來他不發(fā)論文也不出席專業(yè)會議，便逐漸淡出了公眾的視線。非常戲劇性的一刻發(fā)生在1985年的英國國際信息理論研討會上：香農(nóng)出人意料地現(xiàn)身會場，很多與會者甚至不知道他仍然在世。這位謙虛羞澀的名人被人認出來后，被粉絲們團團圍住。最后，還只好不情愿地在晚宴上登臺，被主持人隆重地介紹為“我們這個時代最偉大的科學巨匠之一”。掌聲平息后，香農(nóng)冒出一句：“這真是太可笑了！”然后，他把手伸到衣服口袋里，變戲法一樣掏出了3個球，竟然當場玩起了雜耍。
會玩雜耍的人千千萬，世界上的發(fā)明家也不計其數(shù)。然而，會玩又能從中悟出大自然奧妙的人，唯香農(nóng)也。誰能玩密碼聯(lián)想到信息論？又有誰玩象棋時思考AI？誰能玩了拋球雜技便提出一個“拋球定理”？哪一個獨輪車騎手，非要將獨輪車的運動轉(zhuǎn)化為方程式呢？別無他人，唯香農(nóng)也。
到了1980年代，香農(nóng)的記憶力開始嚴重衰退，后來患上了老年癡呆癥。這位獨特而有趣的天才，在與疾病抗爭了很長一段時間后，于2001年2月24日辭世，享年84歲。
參考文獻：
[1]香農(nóng)傳，作者：[美]吉米·索尼，[美]羅伯·古德曼譯者：楊曄出版社：中信出版集團出版時間：2019-02
[2]信息簡史，作者：[美]詹姆斯·格雷克譯者：高博出版社：人民郵電出版社出版時間：2013-12
[3]Shannon C E. A mathematical theory of communication[J]. ACM SIGMOBILE Mobile
Computing and Communications Review, 2001, 5(1): 3-55.
[4]科學網(wǎng)—“熵”- 信息世界也逞強- 張?zhí)烊氐牟┪模?/span>
https://blog.sciencenet.cn/home.php?mod=space&uid=677221&do=blog&quickforward=1&id=987651
