香農(nóng)：無緣諾獎的信息論之父，跨越時空與22位科學(xué)家相遇
克勞德·埃爾伍德·香農(nóng)（Claude Elwood Shannon），美國數(shù)學(xué)家，提出了信息熵的概念，奠定了信息論和數(shù)字通信的基礎(chǔ)。雖然無緣諾貝爾獎，但香農(nóng)的研究卻與各個領(lǐng)域的頂尖學(xué)者產(chǎn)生過交集。陳關(guān)榮教授在本文中整理了22位科學(xué)家與香農(nóng)跨時空的“meet”。
撰文 | 陳關(guān)榮（香港城市大學(xué)電機工程系講座教授）
美國科學(xué)家香農(nóng)（Claude Elwood Shannon，1916年4月30日－2001年2月26日）以創(chuàng)立信息論而聞名。
香農(nóng)出生于密歇根（Michigan）的湖濱小鎮(zhèn)佩托斯基（Petoskey），該地名來自當(dāng)?shù)赜〉诎踩苏Z，意為“旭日之光”。
建立現(xiàn)代信息論
1936年，香農(nóng)在密歇根大學(xué)獲得數(shù)學(xué)與電氣工程學(xué)士學(xué)位，然后進(jìn)入麻省理工學(xué)院（MIT）讀研究生。
1938年香農(nóng)在MIT獲得電氣工程碩士學(xué)位，學(xué)位論文題目是“繼電器與開關(guān)電路的符號分析”（A symbolic analysis of relay and switching circuits）。他把布爾代數(shù)的“真”與“假”和電路系統(tǒng)的“開”與“關(guān)”對應(yīng)起來，分別用1和0表示。
他的數(shù)學(xué)分析為數(shù)字電路打下了理論基礎(chǔ)，把計算機科學(xué)引上了數(shù)字化的道路，為今天形形色色的數(shù)字技術(shù)鋪墊了牢固的基石。
1940年，香農(nóng)因這一成果獲得了美國工程師學(xué)會頒發(fā)的Alfred Noble獎。同年，香農(nóng)在MIT獲得數(shù)學(xué)博士學(xué)位，學(xué)位論文題目是“理論遺傳學(xué)的代數(shù)學(xué)”（An algebra for theoretical genetics）。
在科學(xué)史上被公認(rèn)為有奠基性成果的博士論文并不多見，廣為人知的當(dāng)然有愛因斯坦、居里夫人、德布羅意、費曼，數(shù)學(xué)方面還包括黎曼和納什，而香農(nóng)的博士論文被認(rèn)為是二十世紀(jì)最優(yōu)秀的一篇。
（圖源：dspace.mit.edu）
1940-1941年間，香農(nóng)在普林斯頓高等研究院工作，期間開始思考信息理論和數(shù)字通信問題。1941年，他加入AT&T電話電報公司的貝爾實驗室（Bell Labs）數(shù)學(xué)部，工作至1956年。其后被MIT聘為客座教授，1958年成為講座教授，1978年退休成為名譽教授。
在貝爾實驗室期間，除了火炮控制系統(tǒng)之外，信息保密和隱藏技術(shù)是香農(nóng)的主要工作內(nèi)容。1945年，香農(nóng)向?qū)嶒炇姨峤涣艘环輽C密文件“密碼學(xué)的數(shù)學(xué)理論”（A mathematical theory of cryptography）。該研究成果在二戰(zhàn)結(jié)束后于1949年以“保密系統(tǒng)的通信理論”（Communication theory of secrecy systems）為題正式發(fā)表，為現(xiàn)代公鑰密碼和分組密碼設(shè)計提供了啟發(fā)和指導(dǎo)。他隨即被美國政府聘為密碼事務(wù)顧問。
在貝爾實驗室，信息理論和數(shù)字通信一直是香農(nóng)的重點科學(xué)研究內(nèi)容。1948年，香農(nóng)在實驗室主辦的雜志《Bell System Technical Journal》上分兩期發(fā)表了一篇論文“通信的數(shù)學(xué)原理”（A mathematical theory of communication），研究了如何最好地為發(fā)送信息編碼，引進(jìn)了量度不確定性的信息熵，還設(shè)計了稍后和范諾（Robert Fano）一起完成的“香農(nóng)-范諾編碼”。1949年，他又在該雜志上發(fā)表了“噪聲下的通信”一文，其中建立了著名的香農(nóng)采樣定理（Shannon sampling theorem）。
香農(nóng)這期間的一系列工作，建立了現(xiàn)代信息論。
他后來回憶道：“我的第一個想法，就是如何在噪聲信道中最好地改善信息傳輸?！毕戕r(nóng)在文章中定義了信息的基本單位，采取了貝爾實驗室同事John Tukey的建議，定為“比特”。當(dāng)年，據(jù)說是馮·諾爾曼（John von Neumann）說服香農(nóng)借用熱力學(xué)的“熵”這個詞。馮·諾爾曼認(rèn)為，當(dāng)時沒有人知道這個“信息熵”是什么，這在學(xué)術(shù)界關(guān)于信息理論辯論中會給香農(nóng)帶來優(yōu)勢。此外，香農(nóng)說過他的通信理論在數(shù)學(xué)和哲學(xué)原理方面頗多受益于MIT 的同事維納（Norbert Wiener）。維納則強調(diào)，引入信息熵及數(shù)字技術(shù)作為該理論的基礎(chǔ)是香農(nóng)個人的功勞。
逼近香農(nóng)極限
香農(nóng)在1948年的論文中還引進(jìn)了通信信道的香農(nóng)極限（Shannon limit），也稱為香農(nóng)容量（Shannon capacity），就是針對特定噪聲水平的信道的最大理論信息傳輸速率。
后來，著名的香農(nóng)定理（噪聲信道編碼定理）指出: 信息傳輸速率即信道容量，是帶寬，是平均信號功率，是平均噪聲功率，為信噪比。香農(nóng)極限就是其最大值。香農(nóng)在該論文中解釋了如何計算這個極限，但他當(dāng)時并不知道如何逼近它。
多年以后，香農(nóng)和其他科學(xué)家不斷地挑戰(zhàn)這個重要而棘手的技術(shù)問題。現(xiàn)代通信系統(tǒng)從1G、2G、3G、4G到5G的整個發(fā)展過程中，全世界的科學(xué)家、通信運營商和生廠商們一直在追逐著逼近香農(nóng)極限。
興趣驅(qū)動研究
1951年，香農(nóng)發(fā)表了“書面英語的預(yù)測和熵”（Prediction and entropy of printed English）一文，說明信息論不但可以應(yīng)用于計算機語言，而且可以應(yīng)用于自然語言，他還計算了英語的熵，主張從數(shù)理統(tǒng)計的角度去分析人類語言。
香農(nóng)是一個典型的興趣驅(qū)動型的科學(xué)家，他并不考慮自己的研究成果有無商業(yè)價值，甚至不關(guān)心最后成果是否有用。他說：“我在完全無用的事情上花了大量的時間”。
事實上，香農(nóng)對各種創(chuàng)新嘗試的喜好甚至讓他迷戀上智能游戲機。1949年，他發(fā)表了論文“為下棋計算機編程”（Programming a computer for playing chess），勾畫了關(guān)于人工智能的一項開創(chuàng)性工作。
次年，他親手制造了一只名為“忒修斯”（Theseus）的機器老鼠，讓機械鼠通過反復(fù)試探后自己找到迷宮的出路。忒修斯是希臘神話中的英雄，他為了解救希臘的童男童女，自告奮勇到克里特島除掉了人頭牛身的惡怪“彌諾陶洛斯”（Minotaur），并在可怕的迷宮里成功地找到了出口。
（圖源：commons.wikimedia.org）
1951年，香農(nóng)發(fā)表了論文“介紹一個走迷宮的機器”（Presentation of a maze solving machine），解釋了這一任務(wù)是通過密集繼電器系列的運作完成的，取材于貝爾電話系統(tǒng)的交換機元件。那個巧妙的機電設(shè)計被視為現(xiàn)代計算機芯片的雛型。
1953年，他又設(shè)計了一個“心靈閱讀”（mind reading）機器，它通過觀察和分析弈棋對手過去所做各種選擇的樣本，能夠相當(dāng)準(zhǔn)確地猜測到對手下一步棋的走法。那個成功的邏輯設(shè)計被視為現(xiàn)代機器學(xué)習(xí)和人工智能發(fā)展的前奏。香農(nóng)當(dāng)年說過：“我認(rèn)為，幾十年后機器智能超越人類是完全可以預(yù)期的?！?br/>
從上世紀(jì)60年代起，年方半百的香農(nóng)逐漸消失在公眾的視野中。他甚至不再出席由他創(chuàng)辦的信息領(lǐng)域?qū)I(yè)會議。香農(nóng)曾經(jīng)說過：“許多偉大數(shù)學(xué)家在年輕的時候就已經(jīng)完成了生命中最重要的研究?！币苍S是他自認(rèn)為江郎才盡了？旁人和后人都不得而知。只是到了1985年，有一次他出乎意料地出現(xiàn)在英國布萊頓舉行的國際信息論研討會上，當(dāng)時很多與會者甚至不知道他仍然在世。
事實上到了1980年代，香農(nóng)的記憶力開始嚴(yán)重衰退，后來患上了老年癡呆癥。香農(nóng)在與疾病抗?fàn)幜撕荛L一段時間后于2001年2月24日辭世，享年84歲。
回顧香農(nóng)輝煌的一生，他年輕時開始已經(jīng)在世界上被逐漸公認(rèn)推崇，獲得過10個榮譽博士學(xué)位（先后依次為密歇根大學(xué)、普林斯頓大學(xué)、愛丁堡大學(xué)、匹茲堡大學(xué)、美國西北大學(xué)、牛津大學(xué)、東英格倫大學(xué)、卡內(nèi)基梅隆大學(xué)、塔夫斯大學(xué)和賓夕法尼亞大學(xué)），成為美國科學(xué)院和工程院院士以及英國皇家學(xué)會院士。
他獲得的主要獎項包括1985年的日本京都獎（Kyoto Prize）、1966年的IEEE 榮譽獎?wù)拢↖EEE Medal of Honor）、1972年IEEE第一屆香農(nóng)獎（Shannon Award）和1996年的美國國家科學(xué)獎（National Medal of Science）。
遺憾的是，香農(nóng)研究工作的領(lǐng)域和本質(zhì)決定了他無緣于諾貝爾獎。
22位科學(xué)家 “Meets Shannon”
在香農(nóng)的生前身后，許多科學(xué)家和數(shù)學(xué)家都遇見過他（“Meets Shannon”）。除了與他同時代或稍后的知名數(shù)學(xué)家和科學(xué)家卡諾（Carnot，1796-1832）、菲克（Fick，1829-1901）、李雅普諾夫（Lyapunov，1857-1918）、馬可尼（Marconi，1874-1937）、奈奎斯特（Nyquist，1889-1976）、維納（Wiener，1894-1964）、馮·諾爾曼（von Neumann，1903-1957）、波德（Bode，1905-1982）、列昂季耶夫（Leontief，1906-1999）、圖靈（Turing，1912-1954）、布萊克韋（Blackwell，1919-2010)、貝爾曼（Bellamn，1920-1984）、納什（Nash，1928-2015）、列康（LeCam，1924-2000）、摩爾（Moore，1929-）、卡爾曼（Kalman，1930-2016）、斯特朗（Strang，1934-）、索茲（Shortz，1952-）之外，還有他的前輩傅里葉（Fourier，1768-1830）、麥克斯韋（Maxwell，1831-1879）、瓦爾拉斯（Walras，1834-1890）、特斯拉（Tesla，1856-1943），他們都遇見過香農(nóng)（見[附錄]）。
香農(nóng)如此敬業(yè)樂群，你也遇見過他么？
附錄：Who meets Shannon or Shannon meets whom?
卡諾（Carnot）: O Shental and I Kanter, Shannon meets Carnot: Generalized second thermo-dynamic law, Europhysics Letters, 85(1): 10006, 2009.
卡諾（Carnot）: H Li, Information efficiency of communications for networked control in cyber physical systems: When Carnot meets Shannon, 55th IEEE Conference on Decision and Control, Dec. 12-14, 2016, Las Vegas, NV, USA
菲克（Fick）: AO Bicen, JJ Lehtom?ki, and IF Akyildiz, Shannon meets Fick on the microfluidic channel: Diffusion limit to sum broadcast capacity for molecular communication, IEEE Transactions on NanoBioscience, 17(1): 88-94, 2018.
李雅普諾夫(Lyapunov）: T Holliday, P Glynn and A Goldsmith, Shannon meets Lyapunov: Connections between information theory and dynamical systems, 44th IEEE Conference on Decision and Control, Dec. 12-16, 2005, Seville, Spain, 2005.
馬可尼（Marconi）: D Tse, Modern wireless communication: When Shannon meets Marconi, 2006 IEEE International Conference on Acoustics, Speech and Signal Processing, May 14-19, 2006, Toulouse, France, 2006.
奈奎斯特（Nyquist）: YX Chen, AJ Goldsmith and YC Eldar, Shannon meets Nyquist: The interplay between capacity and sampling, 49th Annual Allerton Conference on Communication, Control, and Computing, Sept. 28-30, Monticello, IL, USA, 2011.
奈奎斯特（Nyquist）: YX Chen, YC Eldar, and AJ Goldsmith, Shannon meets Nyquist: Capacity of sampled Gaussian channels, IEEE Transactions on Information Theory, 39(8): 4889-4914, 2013.
維納（Wiener）: GD Forney, On the role of MMSE estimation in approaching the information-theoretic limits of linear Gaussian channels: Shannon meets Wiener, 41st Annual Allerton Conference on Communication, Control and Computing, Oct. 1-3, 2003, Monticello, IL, USA, 2003; and Shannon meets Wiener II: On MMSE estimation in successive decoding schemes, 2004.
馮·諾爾曼（von Neumann）: ST Jose and AA Kulkarni, Shannon meets von Neumann: A minimax theorem for channel coding in the presence of a jammer, arXiv:1811.07358, 2018.
波德（Bode）: N Elia, When Bode meets Shannon: Control-oriented feedback communication schemes, IEEE Transactions on Automatic Control, 49(9): 1477-1488, 2004.
列昂季耶夫（Leontief）: D Zachariah and P Cockshott, Leontief meets Shannon - Measuring the complexity of the economic system, arXiv:1705.02154, 2017.
圖靈（Turing）: JP Giannini and T Bowen, Life in code and digits: When Shannon met Turing, Electronic Visualisation and the Arts, July 11-13, 2017, London, UK, 2017.
圖靈（Turing）: W Szpankowski and A Grama, Frontiers of science of information: Shannon meets Turing, Computer, 51(1): 28-38, 2018.
布萊克韋（Blackwell）和列康（LeCam）: M Raginsky, Shannon meets Blackwell and LeCam : Channels, codes, and statistical experiments, IEEE International Symposium on Information Theory, July 31 - Aug. 5, 2011, St. Petersburg, Russia, 2011.
貝爾曼（Bellamn）: S Meyn and G Mathew, Shannon meets Bellman: Feature based Markovian models for detection and optimization, 47th IEEE Conference on Decision and Control, Dec. 9-11, 2008, Cancun, Mexico, 2008.
納什（Nash）: RA Berry and DNC Tse, Shannon meets Nash on the interference channel, IEEE Transactions on Information Theory, 57(5): 2821-2836, 2011.
摩爾（Moore）: L Harrison, Moore’s law meets Shannon’s law: The evolution of the communication's industry, IEEE International Conference on Computer Design: VLSI in Computers and Processors, Sept. 23-26, 2001, Austin, TX, USA, 2001.
摩爾（Moore）: S Scholl, S Weithoffer and N When, Advanced iterative
文章頭圖及封面圖片來源：Thierry Ehrmann en Flickr
本文經(jīng)授權(quán)轉(zhuǎn)載自“集智俱樂部”
