對(duì)話圖靈獎(jiǎng)得主唐加拉:從閱讀障礙患者到全球最快計(jì)算機(jī)的“幕后英雄”
● ● ●
杰克·唐加拉讓人印象深刻的是他在2022年世界超算大會(huì)(SC22)上的表現(xiàn)。 在他的同行提到,唐加拉剛剛獲得的圖靈獎(jiǎng)是頒給整個(gè)超級(jí)計(jì)算領(lǐng)域(HPC)之后,他大笑著走上講臺(tái),全場(chǎng)一片歡騰,到處是放肆的笑聲和揮舞的手臂,幾乎有半分鐘的時(shí)間,這個(gè)一直小眾、不溫不火的超級(jí)計(jì)算年度大會(huì)變成了搖滾現(xiàn)場(chǎng)。 笑聲平緩些之后,唐加拉說:“我從未預(yù)想過今天”。 與更為熱門和應(yīng)用場(chǎng)景幾乎無處不在的AI等計(jì)算機(jī)科學(xué)領(lǐng)域的分支相比,超級(jí)計(jì)算更像一個(gè)不怎么喜歡拋頭露面的“幕后英雄”。因?yàn)檫^于“小眾”和“專業(yè)化”,它的公眾知名度和曝光率遠(yuǎn)低于如AI,然而正是它,在支撐著人類最尖端科技的發(fā)展。HPC的應(yīng)用從天氣預(yù)報(bào)、新藥研發(fā)到高能物理、宇宙學(xué)、材料科學(xué)、流體力學(xué)模擬、經(jīng)濟(jì)學(xué)模擬等等,它正在幫助人類解決普通計(jì)算機(jī)無法解決的難題或大型問題。而這一點(diǎn),在AI時(shí)代尤顯重要。因?yàn)槿斯ぶ悄苣P?,尤其是用于語音識(shí)別和自動(dòng)駕駛汽車等領(lǐng)域的模型,需要海量的計(jì)算能力進(jìn)行訓(xùn)練,而這正是最需要也更適合交給高性能計(jì)算系統(tǒng)的工作。 2021年,唐加拉獲得了圖靈獎(jiǎng),在頒發(fā)圖靈獎(jiǎng)的計(jì)算機(jī)協(xié)會(huì)(ACM)官網(wǎng)上,曾對(duì)獲獎(jiǎng)原因做出了詳細(xì)的解釋:“近四十年來,摩爾定律推動(dòng)著硬件性能呈指數(shù)級(jí)增長(zhǎng)。與此同時(shí),盡管大多數(shù)軟件未能跟上硬件的進(jìn)步,但高性能數(shù)值軟件卻做到了——這在很大程度上得益于 Dongarra 的算法、優(yōu)化技術(shù)和生產(chǎn)級(jí)質(zhì)量的軟件實(shí)現(xiàn)。”而唐加拉的圖靈獎(jiǎng)講座的標(biāo)題便叫:“軟件并非如此簡(jiǎn)單”。 在那個(gè)講座中,唐加拉提到了自己作為算法和軟件科學(xué)家的疲于奔命:“我感覺我們一直處于一種追趕模式……硬件架構(gòu)在變化,算法和軟件只能努力跟上這種架構(gòu)。我腦海中經(jīng)常浮現(xiàn)出這樣的畫面:硬件人員把機(jī)器丟過來,(我們這些)算法人員和軟件人員則忙著想辦法把要處理的問題放到那臺(tái)機(jī)器上,以便更有效地處理,完成這一切大概需要10年的時(shí)間。然后,一臺(tái)新的機(jī)器又來了,我們又重新開始這個(gè)循環(huán)……” 唐加拉的故事常被描述成一個(gè)出身貧寒,早期志向不那么高遠(yuǎn)的理工男的逆襲故事。他來自一個(gè)意大利移民家庭,近百年前,當(dāng)他的祖父帶著他的父親去到美國(guó)時(shí),口袋里只有25美元。等到唐加拉這一代,這個(gè)意大利血統(tǒng)男孩的數(shù)學(xué)和科學(xué)成績(jī)還不錯(cuò),但閱讀和拼寫卻很吃力,成年后,唐加拉才發(fā)現(xiàn)自己有閱讀障礙(dyslexic)。 1972年,唐加拉進(jìn)入了芝加哥州立大學(xué)數(shù)學(xué)系,這不是著名的芝加哥大學(xué),而是伊利諾伊州的一所著名的以黑人學(xué)生為主體的大學(xué),根據(jù)學(xué)校官網(wǎng)發(fā)布的數(shù)據(jù),芝加哥州立大學(xué)的學(xué)費(fèi)大約只有全美平均水平的1/3,2023年,非裔美國(guó)學(xué)生占這所大學(xué)總學(xué)生人數(shù)的65%以上。直到2015年,該校仍未被《美國(guó)新聞與世界報(bào)道》的大學(xué)排名收錄。 大學(xué)期間,唐加拉最大的夢(mèng)想是成為一名高中老師,然而,大學(xué)的最后一個(gè)學(xué)期他獲得機(jī)會(huì)去申請(qǐng)了美國(guó)的阿貢國(guó)家實(shí)驗(yàn)室的一個(gè)職位,然后他與大約30幾個(gè)本科生一起在阿貢實(shí)驗(yàn)室工作,開發(fā)數(shù)學(xué)軟件,這讓他意識(shí)到自己對(duì)“軟件開發(fā)、數(shù)學(xué)軟件以及線性代數(shù)”的熱愛,他留在了阿貢國(guó)家實(shí)驗(yàn)室,直到1989年。然后,他加入了美國(guó)的橡樹嶺國(guó)家實(shí)驗(yàn)室和田納西大學(xué),并一直在那里工作。 在田納西大學(xué),唐加拉和同事們提供了高效、標(biāo)準(zhǔn)并具有可移植性的“計(jì)算工具箱”(開源軟件庫(kù));構(gòu)建了計(jì)算平臺(tái)協(xié)同工作的“溝通橋梁”(MPI),并建立了能夠衡量和推動(dòng)發(fā)展的高性能計(jì)算機(jī)“基準(zhǔn)測(cè)試”(benchmark),并在此基礎(chǔ)上設(shè)立了全球最快超級(jí)計(jì)算機(jī)的榜單TOP500。一度,來自中國(guó)的超級(jí)計(jì)算機(jī)神威·太湖之光超級(jí)計(jì)算機(jī)曾排在該榜單的第一位。 對(duì)于近年來洶涌而至的AI大潮,唐加拉認(rèn)為:人工智能和高性能計(jì)算如今正緊密合作,相互促進(jìn),然而,高性能計(jì)算卻面臨著自己的挑戰(zhàn)。就在數(shù)日前,他撰文歷數(shù)了一些挑戰(zhàn):內(nèi)存的限制,能耗飆升的問題,以及,在這個(gè)商業(yè)世界中,高性能計(jì)算可能會(huì)遇到的一個(gè)獨(dú)有的挑戰(zhàn):高性能計(jì)算需要更高精度(64位)的芯片,而AI計(jì)算只需要低精度(16位,甚至低于16位)的芯片就已經(jīng)足夠,他開始擔(dān)心,在AI領(lǐng)域洶涌的投資和盈利前景下,那些昂貴、復(fù)雜、盈利前景卻不夠確定的高精度芯片會(huì)被芯片公司們忽視,而這將阻礙高性能計(jì)算,以及很多科研領(lǐng)域的進(jìn)展。 總體上,這是一個(gè)聚焦于艱深的計(jì)算機(jī)領(lǐng)域基礎(chǔ)問題,聚焦于更本質(zhì)的屠龍術(shù)而非商業(yè)目標(biāo)的奇技淫巧的純粹的科學(xué)家,但在商業(yè)界,人們對(duì)他同樣給予了極高的評(píng)價(jià)。谷歌高級(jí)研究員兼谷歌健康高級(jí)副總裁 Jeff Dean 就曾表示:“唐加拉的工作從根本上改變并推動(dòng)了科學(xué)計(jì)算的發(fā)展……他在全球使用最廣泛的數(shù)值庫(kù)核心領(lǐng)域所做的深入而重要的工作,奠定了科學(xué)計(jì)算的各個(gè)領(lǐng)域的基礎(chǔ),推動(dòng)了從藥物研發(fā)到天氣預(yù)報(bào)、航空航天工程等數(shù)十個(gè)領(lǐng)域的發(fā)展。他專注于表征各種計(jì)算機(jī)的性能,并推動(dòng)了適用于數(shù)值計(jì)算的計(jì)算機(jī)架構(gòu)的重大進(jìn)步?!?/span> 在高性能計(jì)算這個(gè)有點(diǎn)“孤獨(dú)”的小眾領(lǐng)域,唐加拉一直很關(guān)注中國(guó)的進(jìn)展,尤其是這里那些活躍的年輕人。從10年前開始,唐加拉一直擔(dān)任在中國(guó)舉辦的世界大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽(ASC)大賽的專家委員會(huì)主席,并在數(shù)年來一直堅(jiān)持親臨現(xiàn)場(chǎng)與參賽的年輕人溝通。他介紹,這是世界上規(guī)模最大的大學(xué)生超算競(jìng)賽,學(xué)生們會(huì)在限定時(shí)間內(nèi)搭建起自己的小型超算集群,并解決大賽規(guī)定的問題。他津津樂道于這里那些充滿熱忱的年輕人、充滿噪音的賽場(chǎng)(通常是體育館)、以及別出心裁的降溫方法,比如:冰塊或是風(fēng)扇。 在中國(guó)青海舉行的ASC25結(jié)束后,《知識(shí)分子》得到了一個(gè)訪談唐家拉的機(jī)會(huì),與他暢談了他對(duì)高能計(jì)算的過去與未來,高性能計(jì)算與AI的結(jié)合,以及對(duì)于中國(guó)的高性能計(jì)算現(xiàn)狀的看法。下面是對(duì)話的實(shí)錄。
唐加拉演講視頻截圖
01
知識(shí)分子:我閱讀了您近期的文章,您提到人工智能與高性能計(jì)算在爭(zhēng)奪資源的情況。您提到,因?yàn)槿斯ぶ悄苤恍璧途鹊挠?jì)算,但如果芯片公司只為人工智能制造這種低精度的芯片,那么適合科學(xué)計(jì)算的高精度(64位)芯片的發(fā)展就會(huì)被拖后,情況是這樣嗎?我們有什么辦法可以解決這個(gè)問題?
Dongarra:沒錯(cuò),人工智能的一個(gè)趨勢(shì)是朝著優(yōu)化低精度格式硬件的方向發(fā)展,就是它不需要很高的精度。如果你用更低的精度,你可以運(yùn)行得更快,并且占用更少的空間。這是我們?cè)谌斯ぶ悄茴I(lǐng)域可以優(yōu)化的兩個(gè)重要方面。
我們能夠看到有一些硬件支持16位甚至低于16位的浮點(diǎn)運(yùn)算,這對(duì)于許多人工智能任務(wù)來說已經(jīng)足夠了。然而,對(duì)于科學(xué)計(jì)算,如氣候模型、量子力學(xué)以及其他研究領(lǐng)域,我們通常需要64位精度才能進(jìn)行具有可重復(fù)性和數(shù)值穩(wěn)定性的模擬。
而在今天,人工智能如此重要,吸引了非常多的投資,以至于我們開始擔(dān)心計(jì)算機(jī)供應(yīng)商會(huì)忽視科學(xué)計(jì)算領(lǐng)域,而只專注于人工智能。如果他們這樣做,那就不再有高精度,只有低精度了。所以,我們需要保持平衡,我們需要一種能夠提供高精度和低精度的架構(gòu),以便我們能夠充分解決科學(xué)問題以及另一些(需要低精度的)人工智能的問題。
目前,我認(rèn)為重要的是,在急于填補(bǔ)人工智能硬件缺口的同時(shí),我們不能失去高精度,人類需要保持進(jìn)行64位計(jì)算的能力,這可能需要政府去投資開發(fā)那些能夠進(jìn)行64位計(jì)算的芯片。在美國(guó),我們有所謂的協(xié)同設(shè)計(jì)(co-design),歐洲和日本也有類似的概念。我們正在嘗試協(xié)同設(shè)計(jì)下一代機(jī)器,并確保這些下一代機(jī)器同時(shí)支持高精度和低精度,因?yàn)槲覀儾幌胧ジ呔?。這是一個(gè)重要的方面。這可能需要(政府或是其他機(jī)構(gòu))向工業(yè)界提供額外資金,以幫助鼓勵(lì)或激勵(lì)在架構(gòu)中開發(fā)這些功能。再?gòu)?qiáng)調(diào)一下,協(xié)同設(shè)計(jì)需要我們直接參與架構(gòu)的設(shè)計(jì)過程,而不是等待某一方交付架構(gòu)。
我認(rèn)為保持這種高精度水平很重要。我們?cè)谠S多領(lǐng)域都看到,擁有標(biāo)準(zhǔn)和基準(zhǔn)始終是好的。我們可以了解性能以及存在的一些問題。并且我們能夠跟蹤和監(jiān)控我們所擁有的基本硬件的性能和準(zhǔn)確性。
知識(shí)分子:您當(dāng)前的研究興趣,現(xiàn)在關(guān)注的重點(diǎn)是什么?
Dongarra:我有很多事情在做。我可以舉例講一個(gè)我們今天正在關(guān)注的一個(gè)問題,那就是:如果未來的計(jì)算機(jī)不再有高精度性能,也就是說,我們沒有64位的精度,我們能做些什么來(從低精度芯片上)獲得64位精度。
有很多數(shù)學(xué)技巧可以使用,當(dāng)然,這些都是想法,但也許能夠在將來,(尤其是在高精度芯片缺乏的未來),它們會(huì)發(fā)揮重要作用。從科學(xué)的角度來看,這是一個(gè)我認(rèn)為今天很有趣的研究領(lǐng)域。目前在日本、中國(guó)和美國(guó)有很多這方面的工作正在進(jìn)行,我也在關(guān)注這個(gè)領(lǐng)域。
知識(shí)分子:能否請(qǐng)您用簡(jiǎn)單的語言告訴我們,您的研究工作如何與當(dāng)今的人工智能相關(guān)聯(lián)?
Dongarra:人工智能有許多方面,但其中一個(gè)核心的問題是線性代數(shù)問題。
我們可以思考在人工智能領(lǐng)域最重要的計(jì)算是什么。最簡(jiǎn)單的描述就是矩陣乘法。如果我們能高效地進(jìn)行矩陣乘法,那么就可以提高人工智能應(yīng)用的性能。因此,在架構(gòu)上實(shí)現(xiàn)一套良好的、穩(wěn)健的線性代數(shù)程序可以使事情運(yùn)行得更快。
知識(shí)分子:在最近的文章,您還強(qiáng)調(diào)了超級(jí)計(jì)算機(jī)的能耗,并指出更多的電力通常只是意味著更多的能源?,F(xiàn)在,有什么方法可以解決這個(gè)問題嗎?
Dongarra:確實(shí)存在巨大的能源消耗,我們需要一些方法來節(jié)約能源。如今的人工智能系統(tǒng)消耗的能源巨大,超級(jí)計(jì)算機(jī)也一樣。我們目前最大的超級(jí)計(jì)算機(jī)耗電超過30兆瓦。這是什么概念,我可以舉個(gè)例子,如果我在田納西州的家中使用1兆瓦的電力,我將收到一張100萬美元的賬單,這就是能源成本。
如果您有一臺(tái)超級(jí)計(jì)算機(jī),打開它,它消耗30兆瓦的電力,那么一年的能源使用費(fèi)用大約是3,000萬美元。如今的人工智能系統(tǒng)更是如此,它們使用數(shù)百兆瓦的電力,鑒于人工智能的重要性,這可能是值得的,但必須找到減少計(jì)算能耗的方法。
我們正在探索幾個(gè)途徑,其中之一是光通信,在機(jī)器內(nèi)部和之間使用光子而不是銅來傳輸數(shù)據(jù)。光通信速度更快,能耗更低。我們預(yù)計(jì)這將成為我們?cè)谟?jì)算機(jī)中傳輸信息的標(biāo)準(zhǔn)方法,取代今天用于在機(jī)器各部分之間移動(dòng)數(shù)據(jù)的銅纜。通過采用這些方法,我們希望減少能源使用。
此外,在自動(dòng)調(diào)整我們的數(shù)值庫(kù)方面也有很多工作,不僅要優(yōu)化性能,還要優(yōu)化能源效率。我們正在研究它們?cè)诠?jié)省電力的同時(shí)仍能成功完成操作的方法。這些是我們?cè)噲D解決這種情況的一些方法。
知識(shí)分子:談到改進(jìn),量子計(jì)算算不算?您對(duì)該項(xiàng)技術(shù)有什么看法?它會(huì)是高性能計(jì)算的未來嗎?
Dongarra:我們剛開始了解量子計(jì)算,它還處于嬰兒期。還有很多研究要做。但我認(rèn)為這是一個(gè)非常值得研究的領(lǐng)域,研究它的局限性和應(yīng)用潛力。
我不認(rèn)為在不久的將來會(huì)有量子筆記本電腦——在我的有生之年,這都不會(huì)發(fā)生。但我期望看到量子計(jì)算將與傳統(tǒng)計(jì)算設(shè)備一起發(fā)揮作用,量子計(jì)算機(jī)將作為特定計(jì)算任務(wù)的加速器。
在未來,我們?nèi)匀粫?huì)有CPU和GPU,但我們可能還會(huì)有量子設(shè)備、神經(jīng)形態(tài)計(jì)算機(jī)、光計(jì)算機(jī)和其他計(jì)算設(shè)備。它們無法單獨(dú)地去解決整個(gè)問題,但可以加速特定的計(jì)算。目前,我們真正基于量子的算法數(shù)量很少,也許未來這一領(lǐng)域會(huì)擴(kuò)展。我不認(rèn)為每個(gè)問題都能通過量子算法解決,但進(jìn)一步的研究可能會(huì)顯示出更多的希望,我們可能會(huì)看到更多可以從量子計(jì)算中受益的應(yīng)用。
02
知識(shí)分子:您在高性能計(jì)算的基準(zhǔn)測(cè)試(Benchmark)方面的工作獲得了很高的評(píng)價(jià),尤其是您的TOP500榜單,幾十年來一直是全球超級(jí)計(jì)算機(jī)的兵家必爭(zhēng)之地,也極大地促進(jìn)了這個(gè)領(lǐng)域的發(fā)展。您認(rèn)為人工智能領(lǐng)域可以從Top500這樣的標(biāo)準(zhǔn)基準(zhǔn)測(cè)試中學(xué)到什么經(jīng)驗(yàn),在AI領(lǐng)域是否也需要一個(gè)全面的衡量標(biāo)準(zhǔn),以及一個(gè)類似TOP500的榜單?
Dongarra:Top500基準(zhǔn)測(cè)試始于20世紀(jì)90年代初。它的開發(fā)目標(biāo)非常簡(jiǎn)單。我們希望提供一種客觀且一致的方式來跟蹤和比較世界上最快的超級(jí)計(jì)算機(jī)的性能。當(dāng)時(shí),對(duì)于系統(tǒng)和性能,沒有標(biāo)準(zhǔn)的基準(zhǔn)測(cè)試,這使得不同的機(jī)器很難進(jìn)行驗(yàn)證和比較。我們引入了一個(gè)非常簡(jiǎn)單的基準(zhǔn)測(cè)試,即LINPACK基準(zhǔn)測(cè)試,作為一個(gè)通用的標(biāo)尺,以便我們可以用一種統(tǒng)一的方式來測(cè)量它們的性能。
LINPACK基準(zhǔn)測(cè)試有許多優(yōu)點(diǎn),但也有一些缺點(diǎn)。優(yōu)點(diǎn)是它易于理解、易于運(yùn)行且易于查看性能。但缺點(diǎn)就是:它解決的只是一個(gè)曾經(jīng)重要但現(xiàn)在已經(jīng)變得不再重要的問題。
在20世紀(jì)90年代初,浮點(diǎn)運(yùn)算非常昂貴。今天,我們的硬件在這方面的能力已經(jīng)過剩了。在這個(gè)基礎(chǔ)上,LINPACK基準(zhǔn)測(cè)試解決的是一個(gè)基于密集矩陣的問題,當(dāng)時(shí)的大多數(shù)科學(xué)應(yīng)用并不能解決這個(gè)問題。但現(xiàn)在,科學(xué)計(jì)算需要解決的問題是稀疏矩陣問題。在這種情況下,我們需要調(diào)整基準(zhǔn)測(cè)試。因此,我們新增了一個(gè)基準(zhǔn)測(cè)試,叫做HPCG(高性能共軛梯度),它旨在考察那些真正在今天的高性能計(jì)算機(jī)上運(yùn)行的、科學(xué)領(lǐng)域?qū)嶋H問題的性能。
LINPACK是一個(gè)例子,(沒有什么衡量標(biāo)準(zhǔn)是永遠(yuǎn)正確的)。而在人工智能方面,我們需要一個(gè)基準(zhǔn)測(cè)試,但不可能只有一個(gè)基準(zhǔn)測(cè)試。我們需要的可能是一組可以輕松實(shí)施的基準(zhǔn)測(cè)試,提供對(duì)AI在不同重要性能方面的洞察。一種可以反映計(jì)算機(jī)實(shí)際運(yùn)行情況的基準(zhǔn)測(cè)試非常重要,但我們應(yīng)該意識(shí)到這些基準(zhǔn)測(cè)試不會(huì)是一成不變的,它們會(huì)隨著時(shí)間的推移而變化,然后,我們就得在集合中添加新的基準(zhǔn)測(cè)試。
知識(shí)分子:高性能計(jì)算和人工智能的融合。您如何看待這種融合?它為科學(xué)帶來了哪些新的視角?
Dongarra:如我剛才所言,人工智能正成為科學(xué)計(jì)算中日益重要的一部分。我們用于高性能科學(xué)計(jì)算的計(jì)算機(jī)應(yīng)該有能夠進(jìn)行基于人工智能計(jì)算的組件。未來,我設(shè)想的計(jì)算機(jī)能夠處理傳統(tǒng)的高精度科學(xué)計(jì)算以及人工智能和機(jī)器學(xué)習(xí)所需的數(shù)據(jù)分析中的低精度計(jì)算。這兩種能力將在一臺(tái)機(jī)器中共存。
下一代超級(jí)計(jì)算機(jī),甚至當(dāng)前一代,都被設(shè)計(jì)成能夠進(jìn)行高精度的大規(guī)模計(jì)算和人工智能及機(jī)器學(xué)習(xí)所需的快速低精度計(jì)算。這種集成對(duì)于計(jì)算的進(jìn)行方式至關(guān)重要,我們需要能夠執(zhí)行這兩種任務(wù)的系統(tǒng)。
知識(shí)分子:那么在未來,您認(rèn)為高性能計(jì)算在接下來的幾十年中能夠獨(dú)特地解決哪些科學(xué)或社會(huì)問題?
Dongarra:我們使用高性能計(jì)算機(jī)來處理許多應(yīng)用,包括氣候建模、核反應(yīng)堆、聚變反應(yīng)堆、材料設(shè)計(jì)和藥物設(shè)計(jì)——所有這些今天都在高性能計(jì)算機(jī)上進(jìn)行。所有這些領(lǐng)域都可以從人工智能的集成中受益,通過將人工智能納入傳統(tǒng)模型,可以加快計(jì)算速度,更快地解決問題,并提高準(zhǔn)確性。傳統(tǒng)模型依賴于我們現(xiàn)有的物理定律,但現(xiàn)在它們將通過人工智能得到補(bǔ)充,人工智能將加速這些過程。因此,我們將繼續(xù)進(jìn)行氣候建模、燃燒研究、核聚變、材料設(shè)計(jì)等工作,同時(shí)使用傳統(tǒng)方法和人工智能來提高計(jì)算效率。
03
知識(shí)分子:中國(guó)的超級(jí)計(jì)算做得如何,您怎么看?
Dongarra:在我們的TOP500榜單上,中國(guó)的神威·太湖之光超級(jí)計(jì)算機(jī)曾經(jīng)一度排名第一,當(dāng)然,這幾年中國(guó)的超級(jí)計(jì)算機(jī)整體排名有所下降,但這種下降并不代表著中國(guó)超算的能力下降,而是有其客觀因素。
Top500榜單的運(yùn)作方式是通過基準(zhǔn)測(cè)試收集信息。我們要求人們?cè)谒麄兊挠?jì)算機(jī)上運(yùn)行基準(zhǔn)測(cè)試,并遵守某些基本規(guī)則。當(dāng)他們運(yùn)行基準(zhǔn)測(cè)試時(shí),它產(chǎn)生的輸出需要提交給Top500列表。我們檢查其正確性,然后將其輸入Top500表格。如果未能提交結(jié)果,我們就沒有關(guān)于該計(jì)算機(jī)的信息。最近,來自中國(guó)的提交已經(jīng)降為零,所以缺乏基準(zhǔn)測(cè)試結(jié)果進(jìn)行比較,這樣的情況,我希望也相信有一天會(huì)改變的。
知識(shí)分子:您多年來一直在支持中國(guó)舉辦ASC世界大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽,為什么?今年的ASC有什么讓您印象深刻的地方嗎?
Dongarra:ASC為年輕人提供了一個(gè)絕佳的競(jìng)爭(zhēng)和挑戰(zhàn)自我的機(jī)會(huì),提供了一個(gè)能夠運(yùn)行真實(shí)應(yīng)用程序的硬件平臺(tái),并考驗(yàn)硬件在一些具有挑戰(zhàn)性的問題上的工作表現(xiàn)。
這些年輕的學(xué)生需要在現(xiàn)場(chǎng)構(gòu)建他們的小型超算集群,組裝硬件,配置軟件環(huán)境,并在其機(jī)器上運(yùn)行應(yīng)用程序,試圖獲得最高水平的計(jì)算性能。這個(gè)過程中,他們要處理很多東西,比如每個(gè)團(tuán)隊(duì)有固定的能耗限制,他們必須進(jìn)行機(jī)器的功率測(cè)算,對(duì)能量的消耗精打細(xì)算,甚至用于降溫的風(fēng)扇的功率也要被考慮在內(nèi)。
今年,我們有25個(gè)團(tuán)隊(duì)進(jìn)入總決賽,他們來自中國(guó)以及世界各地??吹剿麄兏?jìng)爭(zhēng)并討論他們的機(jī)器表現(xiàn)如何總是令人興奮的。一些多次參賽的團(tuán)隊(duì)在構(gòu)建應(yīng)用程序和計(jì)算機(jī)方面具有深刻的見解,他們的總體表現(xiàn)遠(yuǎn)優(yōu)于首次參賽的團(tuán)隊(duì)。
(作為一個(gè)評(píng)委),在短時(shí)間內(nèi)看到所有這些發(fā)生是很有趣的——看年輕人們?nèi)绾胃?jìng)爭(zhēng),如何較量,以及他們?nèi)绾卧诿髂昊貋碜龅酶谩?/span>
知識(shí)分子:今年,我看到一些ASC的任務(wù)或問題與如何利用DeepSeek有關(guān)。DeepSeek背后的團(tuán)隊(duì)在如何利用硬件和軟件方面做了很多工作,您對(duì)他們的工作是否關(guān)注過,有什么看法?
Dongarra:DeepSeek能夠開發(fā)一個(gè)比傳統(tǒng)方法消耗更少資源的系統(tǒng),這是一個(gè)非常了不起的成就。我認(rèn)為這讓每個(gè)人都開始重新審視我們自身,并試圖更好地理解他們是如何完成的。這些偶爾出現(xiàn)的變化促使人們重新審視一切并可能改變我們的思維方式,這對(duì)每個(gè)人都有益處。而且,DeepSeek對(duì)此持開放態(tài)度,我們能夠看到這是如何完成的,我認(rèn)為這對(duì)于我們重現(xiàn)、擴(kuò)展和改進(jìn)它都是有益的,它相當(dāng)了不起。
知識(shí)分子:您對(duì)當(dāng)今的世界有什么想法嗎?比如美國(guó)的科學(xué)和國(guó)際合作?
Dongarra:今天,美國(guó)正處于一個(gè)對(duì)科學(xué)不像過去那樣重視的困難時(shí)期,資金不再那樣充足了,如果這種情況持續(xù)下去,將會(huì)導(dǎo)致許多問題。我希望我們正在經(jīng)歷的只是暫時(shí)的階段,我們將很快回到一個(gè)科學(xué)可以蓬勃發(fā)展并獲得所需資金以促進(jìn)新發(fā)現(xiàn)的時(shí)代,因?yàn)榭茖W(xué)發(fā)現(xiàn)對(duì)于推進(jìn)我們的世界至關(guān)重要。它能夠?yàn)槿祟悗硇碌墓ぷ鞣绞?,生活方式?/span>
國(guó)際合作方面,我想說的是:不同的國(guó)家擁有不同的優(yōu)勢(shì)。比如:中國(guó)硬件發(fā)展迅速。歐洲關(guān)注與能源相關(guān)的事務(wù)和軟件的可持續(xù)性,日本注重架構(gòu)創(chuàng)新,而美國(guó)在軟件和應(yīng)用程序方面有長(zhǎng)期優(yōu)勢(shì)。我們?nèi)绻梢詳y起手來,能力將遠(yuǎn)遠(yuǎn)超過各自為戰(zhàn)的工作。
我完全支持跨國(guó)界的科學(xué)合作。我們都生活在地球上,同樣面臨著一些巨大的挑戰(zhàn),比如:流行疾病的應(yīng)對(duì)、氣候變化或天體物理,這些挑戰(zhàn)本質(zhì)上是全球性的,也需要我們?nèi)驍y手共同處理和應(yīng)對(duì)。因此,我覺得,我們需要能夠共享數(shù)據(jù),進(jìn)行聯(lián)合建模,并從這些交流中受益。另外,我們還需要能夠一起培訓(xùn)下一代面向全球的科學(xué)家。這就是像ASC競(jìng)賽這樣的活動(dòng)的重要性和意義之所在。
如果,我們能夠從年輕人開始,培養(yǎng)能夠超越國(guó)界思考的科研人員,一切就有了韌性和可持續(xù)性。為國(guó)際合作減少障礙,開放源碼軟件、共享基準(zhǔn)測(cè)試、標(biāo)準(zhǔn)架構(gòu)的聯(lián)合開發(fā),這一切都是應(yīng)有之義。
因此,我認(rèn)為可以通過設(shè)立聯(lián)合研究計(jì)劃來實(shí)現(xiàn)全球合作,通過開放標(biāo)準(zhǔn)和交互操作,允許共享不同系統(tǒng)和基于云的訪問,以及能夠進(jìn)行科學(xué)外交。高性能計(jì)算可以幫助彌合科學(xué)和外交之間的差距,即便存在政治差異,研究人員也可以一起合作,以達(dá)成一些建設(shè)性的、中立的、共享的科學(xué)目標(biāo)。