智源研究院發(fā)布世界首個(gè)“機(jī)器學(xué)習(xí)通用數(shù)學(xué)符號(hào)集”
● ● ●
上周舉行的智源大會(huì)嘉賓眾多、信息量巨大，相信很多老師同學(xué)都會(huì)覺(jué)得有點(diǎn)應(yīng)接不暇吧。智源研究院在大會(huì)上有很多重要的發(fā)布，因?yàn)闀r(shí)間關(guān)系，來(lái)不及展開(kāi)。今天我們要好好說(shuō)說(shuō)其中非常有意義的一項(xiàng)。這就是智源研究院組織的協(xié)作成果——世界首個(gè)“機(jī)器學(xué)習(xí)通用數(shù)學(xué)符號(hào)集”。
這件事兒為什么重要呢？人工智能很大程度上是基于數(shù)學(xué)的，需要采用數(shù)學(xué)符號(hào)來(lái)表達(dá)、交流和學(xué)習(xí)。
數(shù)學(xué)符號(hào)，就是用一套符號(hào)來(lái)表示數(shù)學(xué)概念、數(shù)學(xué)關(guān)系。
數(shù)學(xué)史學(xué)家梁宗巨曾如此評(píng)價(jià)它們的意義：“它能夠精確、深刻地表達(dá)某種概念、方法和邏輯關(guān)系。一個(gè)較復(fù)雜的公式，如果不用符號(hào)而用日常語(yǔ)言來(lái)敘述，往往十分冗長(zhǎng)而且含混不清?！敝袊?guó)早在六七千年前的陶器上，就刻畫(huà)有表達(dá)計(jì)數(shù)意義的符號(hào)圖形。自世界歷史步入15世紀(jì)以來(lái)，數(shù)學(xué)符號(hào)更是取得了迅速的發(fā)展：比如1489年德國(guó)數(shù)學(xué)家魏德曼首次使用了加減號(hào)，1591年法國(guó)數(shù)學(xué)韋達(dá)開(kāi)始使用括號(hào)“()”，1859年哈佛大學(xué)B·佩爾斯開(kāi)始使用“π”等等，迄今為止已經(jīng)發(fā)展成超過(guò)200個(gè)符號(hào)的符號(hào)體系集，也使得數(shù)學(xué)作為科研研究的通用符號(hào)語(yǔ)言，為現(xiàn)代科學(xué)的蓬勃發(fā)展起著舉足輕重的作用。計(jì)算機(jī)領(lǐng)域同樣如此，1979年圖靈獎(jiǎng)獲得者 Kenneth E. Iverson ，在其獲獎(jiǎng)演說(shuō)中認(rèn)為數(shù)學(xué)符號(hào)“可以讓大腦自由地專(zhuān)注于更高級(jí)的問(wèn)題”，并可以作為一種連貫的語(yǔ)言，有效地表達(dá)計(jì)算機(jī)編程語(yǔ)言的可執(zhí)行性和通用性。
現(xiàn)在，數(shù)學(xué)符號(hào)同樣開(kāi)始成為各國(guó)AI學(xué)者、產(chǎn)業(yè)創(chuàng)新者用來(lái)研究、學(xué)習(xí)和交流人工智能理論和技術(shù)的主要媒介。
但在人工智能、機(jī)器學(xué)習(xí)等新興學(xué)科，方興未艾的數(shù)學(xué)符號(hào)集尚存在符號(hào)不統(tǒng)一、容易混淆的問(wèn)題，這在某種程度上阻撓了人工智能理論和技術(shù)交流的快速發(fā)展需要。為了解決這方面的問(wèn)題，北京智源人工智能研究院正式發(fā)布學(xué)術(shù)界首個(gè)機(jī)器學(xué)習(xí)領(lǐng)域的通用數(shù)學(xué)符號(hào)集。這個(gè)數(shù)學(xué)符號(hào)設(shè)計(jì)項(xiàng)目的第一版，由上海交通大學(xué)副教授許志欽，普渡大學(xué)的羅濤和馬征，普林斯頓高等研究所的張耀宇等學(xué)者，秉承“準(zhǔn)確、自洽和直觀”的原則，共同組織設(shè)計(jì)完成。這些學(xué)者來(lái)自計(jì)算數(shù)學(xué)、計(jì)算神經(jīng)科學(xué)、偏微分方程、深度學(xué)習(xí)理論等領(lǐng)域，他們征集了許多機(jī)器學(xué)習(xí)領(lǐng)域的研究人員的意見(jiàn)。此外，智源研究院首席科學(xué)家、北京大學(xué)數(shù)學(xué)學(xué)院張平文教授對(duì)這個(gè)項(xiàng)目也給予了指導(dǎo)性建議和支持。
下面，我們從這套數(shù)學(xué)符號(hào)的作用、內(nèi)容和設(shè)計(jì)原則等幾個(gè)方面，進(jìn)行詳細(xì)介紹。
數(shù)學(xué)符號(hào)集的意義：統(tǒng)一規(guī)范，提高交流效率
智源研究院發(fā)布的這套數(shù)學(xué)符號(hào)集，主要特色便是針對(duì)一些非常常用且容易混淆的符號(hào)，給出了一套標(biāo)準(zhǔn)化的建議，為解決以下問(wèn)題提供基礎(chǔ)：1）在論文寫(xiě)作過(guò)程中常用符號(hào)的選擇問(wèn)題；2）由符號(hào)混亂導(dǎo)致的交流問(wèn)題。它的意義具體表現(xiàn)為如下幾個(gè)方面。
提升文獻(xiàn)閱讀速度。理論文章通常需要有一節(jié)專(zhuān)門(mén)介紹符號(hào)使用，而后的定理中常常不再介紹符號(hào)的意義。當(dāng)符號(hào)多的時(shí)候，常常需要往前查閱符號(hào)的意義。
避免誤解文章的本意。文章量大的情況下，有時(shí)讀文章會(huì)直接讀定理，對(duì)符號(hào)的理解是基于自己平時(shí)的習(xí)慣。符號(hào)混亂的情況可能會(huì)導(dǎo)致誤解定理本身的含義。比如，m, n, M, N, 經(jīng)常被用來(lái)指神經(jīng)元數(shù)目和采樣數(shù)目，但沒(méi)有統(tǒng)一的規(guī)范。一旦混淆，就會(huì)導(dǎo)致誤解。
有效提升交流效率。在學(xué)術(shù)報(bào)告中，給聽(tīng)眾理解內(nèi)容的時(shí)間很短。記憶和辨識(shí)符號(hào)的含義會(huì)給聽(tīng)眾帶來(lái)較大的負(fù)擔(dān)，并可能導(dǎo)致聽(tīng)眾跟不上或者錯(cuò)誤理解報(bào)告內(nèi)容。比如f有時(shí)表示目標(biāo)函數(shù)，有時(shí)用來(lái)表示神經(jīng)網(wǎng)絡(luò)。在一些情況下，f的含義很難短時(shí)間內(nèi)通過(guò)上下文分辨，從而影響聽(tīng)眾理解。
降低符號(hào)理解難度。降低機(jī)器學(xué)習(xí)領(lǐng)域新進(jìn)研究者閱讀符號(hào)以及在論文寫(xiě)作中選擇符號(hào)的難度。
下面，我們用幾個(gè)例子來(lái)說(shuō)明，在機(jī)器學(xué)習(xí)領(lǐng)域?qū)τ诮y(tǒng)一個(gè)概念，當(dāng)存在不同的表達(dá)方式時(shí)會(huì)帶來(lái)諸多不便。我們選擇2018和2019兩年內(nèi)比較重要的研究方向：平均場(chǎng)理論(Mean field theory)、神經(jīng)正切核理論(Neural Tangent kernel theory)、過(guò)參數(shù)化神經(jīng)網(wǎng)尋找全局最?。∣ver-parameterized network finds global minima），列舉了相關(guān)論文中對(duì)于同一研究問(wèn)題的不同符號(hào)選擇。這些符號(hào)的差異增加了論文讀者的符號(hào)記憶負(fù)擔(dān)，提高了準(zhǔn)確理解內(nèi)容的難度。
數(shù)學(xué)符號(hào)集的主要內(nèi)容：常用、重要和關(guān)鍵符號(hào)
本次發(fā)布的數(shù)學(xué)符號(hào)集，所選的主要是機(jī)器學(xué)習(xí)領(lǐng)域中常用、重要且對(duì)文章理解比較關(guān)鍵的一些符號(hào)。整套符號(hào)集包括：數(shù)據(jù)集合（Dataset）、函數(shù)（Function）、損失函數(shù)（Loss function）、激活函數(shù)（Activation function）、雙層神經(jīng)網(wǎng)絡(luò)（Two-layer neural network）、通用深度神經(jīng)網(wǎng)絡(luò)（General deep neural network）、復(fù)雜性（Complexity）、訓(xùn)練（Training）、傅里葉頻率（Fourier Frequency）、卷積（Convolution）等類(lèi)別。同時(shí)我們提供了這些符號(hào)的LaTex代碼，方便大家使用。
下面，我們列舉幾個(gè)數(shù)學(xué)符號(hào)的設(shè)計(jì)思路。
需要說(shuō)明的是，目前這套數(shù)學(xué)符號(hào)集作為第一版目前還沒(méi)有囊括機(jī)器學(xué)習(xí)領(lǐng)域所有的符號(hào)定義，對(duì)于強(qiáng)化學(xué)習(xí)，生成網(wǎng)絡(luò)，循環(huán)網(wǎng)絡(luò)等的一些符號(hào)目前都還沒(méi)完全考慮進(jìn)來(lái)，在后續(xù)的版本更新中，我們會(huì)根據(jù)領(lǐng)域發(fā)展慢慢完善更多符號(hào)的定義。
數(shù)學(xué)符號(hào)集的設(shè)計(jì)原則：準(zhǔn)確、自洽和直觀
鑒于機(jī)器學(xué)習(xí)屬于交叉領(lǐng)域，每個(gè)領(lǐng)域有自己偏好的符號(hào)，所以我們?cè)O(shè)計(jì)這套數(shù)學(xué)符號(hào)集的基本標(biāo)準(zhǔn)，是準(zhǔn)確、自洽和直觀，能將現(xiàn)有的符號(hào)進(jìn)行統(tǒng)一，能結(jié)合數(shù)學(xué)和機(jī)器學(xué)習(xí)一般的使用習(xí)慣，以便實(shí)現(xiàn)看到符號(hào)便知其義。
目前，這套數(shù)學(xué)符號(hào)集已經(jīng)發(fā)給一些機(jī)器學(xué)習(xí)領(lǐng)域的研究人員們?cè)囉茫倪m用性已經(jīng)得到了同行們初步的肯定和驗(yàn)證，我們希望這次的正式發(fā)布能夠拋磚引玉，吸引更多人參與到機(jī)器學(xué)習(xí)符號(hào)標(biāo)準(zhǔn)的建設(shè)中來(lái)。歡迎大家持續(xù)關(guān)注我們以后的定期版本更新。
https://github.com/Mayuyu/suggested-notation-for-machine-learning
歡迎大家通過(guò)GitHub提供反饋。
[1]Mei et al.， 2019， A mean field view of the landscape of two-layer neural networks
[2]Rotskoff et al., 2018, Parameters as interacting particles: long time convergence and asymptotic error scaling of neural networks
[3]Sirignano et al., 2018, Mean Field Analysis of Neural Networks
[4]Jacot et al., 2018, Neural Tangent Kernel: Convergence and Generalization in Neural Networks
[5]Arora et al., 2019, On Exact Computation with an Infinitely Wide Neural Net
[6]Du et al., 2018, Gradient Descent Finds Global Minima of Deep Neural Networks
[7]Zou et al., 2018, Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
[8]Allen-Zhu et al., 2018, A Convergence Theory for Deep Learning via Over-Parameterization
注：本文轉(zhuǎn)載自北京智源人工智能研究院。
