“怪胎”ChatGPT的前世今生，以及未來(lái)
編者按
自美國(guó)時(shí)間12月2日上線以來(lái)，美國(guó)硅谷的初創(chuàng)公司OpenAI推出的ChatGPT，已經(jīng)擁有超過(guò)一百萬(wàn)的用戶(hù)，受到熱烈的討論。它既能完成包括寫(xiě)代碼，修bug（代碼改錯(cuò)），翻譯文獻(xiàn)，寫(xiě)小說(shuō)，寫(xiě)商業(yè)文案，創(chuàng)作菜譜，做作業(yè)，評(píng)價(jià)作業(yè)等一系列常見(jiàn)文字輸出型任務(wù)，而且在和用戶(hù)對(duì)話(huà)時(shí)，能記住對(duì)話(huà)的上下文，反應(yīng)非常逼真。
盡管業(yè)內(nèi)人士認(rèn)為，ChatGPT仍存在數(shù)據(jù)訓(xùn)練集不夠新、全等問(wèn)題，但在人類(lèi)制造人工智能，終點(diǎn)將在哪里結(jié)束？人類(lèi)與會(huì)思考的機(jī)器之間的關(guān)系，將會(huì)如何發(fā)展？這些問(wèn)題，我們無(wú)法停止思考。
撰 文 ｜ 孫睿晨
審 閱 ｜ 張 崢
責(zé) 編 ｜ 陳曉雪
電影《沙丘》的宣傳海報(bào)（圖片來(lái)源：IMBD.com）
去年年底上映的電影《沙丘》（Dune），是一個(gè)時(shí)間設(shè)定在10191年（距今8169年）的科幻故事。觀影時(shí)，我心中一直有一個(gè)疑問(wèn)：這個(gè)故事中人們的生活似乎比現(xiàn)在更原始，故事中人工智能（AI，artificial intelligence）的痕跡也不是很多。后來(lái)我去讀了《沙丘》的原著，才明白這是作者特意設(shè)定：在10191年之前的某個(gè)時(shí)期，曾經(jīng)發(fā)生了一場(chǎng)戰(zhàn)爭(zhēng)。在這場(chǎng)戰(zhàn)爭(zhēng)中，人類(lèi)的對(duì)手是人類(lèi)自己創(chuàng)造的會(huì)思想的機(jī)器人，故事中稱(chēng)為thinking machine。殘酷戰(zhàn)爭(zhēng)的最后，人類(lèi)拼盡全力才得以擊敗了這些有思想的機(jī)器人。之后，人類(lèi)決定永遠(yuǎn)禁止這些機(jī)器人的存在。于是才產(chǎn)生了10191年原始的沙丘世界。
上周五，美國(guó)硅谷的初創(chuàng)公司OpenAI推出了一款新的人工智能對(duì)話(huà)模型ChatGPT。包括我在內(nèi)的許多人，在過(guò)去的一周里都去體驗(yàn)了一下這個(gè)新的對(duì)話(huà)機(jī)器人。在體驗(yàn)過(guò)這款對(duì)話(huà)機(jī)器人后——你們可能已經(jīng)能猜到——我腦海中出現(xiàn)了沙丘的世界。
過(guò)去的十年，仿佛是人工智能技術(shù)領(lǐng)域的“寒武紀(jì)大爆發(fā)時(shí)代”，大量新名詞在短時(shí)間內(nèi)迅速產(chǎn)生、并且迅速流行起來(lái)。這些新名詞及其縮寫(xiě)，許多都沒(méi)有統(tǒng)一的中文譯名，而行業(yè)內(nèi)人士間也普遍直接用英文縮寫(xiě)進(jìn)行交流。這為想要全面理解這些技術(shù)的外行人制造了認(rèn)知上的障礙。
想要理解ChatGPT這款對(duì)話(huà)機(jī)器人，需要倒敘理解InstructGPT，GPT-3，GPT-2，GPT，Transformer，以及在此之前的自然語(yǔ)言處理領(lǐng)域常用的RNN模型。
1. ChatGPT的前世
2017年，谷歌大腦團(tuán)隊(duì)（Google Brain）在神經(jīng)信息處理系統(tǒng)大會(huì)（NeurIPS，該會(huì)議為機(jī)器學(xué)習(xí)與人工智能領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議）發(fā)表了一篇名為“Attention is all you need”（自我注意力是你所需要的全部）的論文[1]。作者在文中首次提出了基于自我注意力機(jī)制（self-attention）的變換器（transformer）模型，并首次將其用于理解人類(lèi)的語(yǔ)言，即自然語(yǔ)言處理。
在這篇文章面世之前，自然語(yǔ)言處理領(lǐng)域的主流模型是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN，recurrent neural network）。循環(huán)神經(jīng)網(wǎng)絡(luò)模型的優(yōu)點(diǎn)是，能更好地處理有先后順序的數(shù)據(jù)，比如語(yǔ)言，但也因?yàn)槿绱?，這種模型在處理較長(zhǎng)序列，例如長(zhǎng)文章、書(shū)籍時(shí)，存在模型不穩(wěn)定或者模型過(guò)早停止有效訓(xùn)練的問(wèn)題（這是由于模型訓(xùn)練時(shí)的梯度消失或梯度爆炸現(xiàn)象而導(dǎo)致，在此不具體展開(kāi)），以及訓(xùn)練模型時(shí)間過(guò)長(zhǎng)（因必須順序處理數(shù)據(jù)，無(wú)法同時(shí)并行訓(xùn)練）的問(wèn)題。
最初的變換器（Transformer）模型的架構(gòu)（圖源：參考文獻(xiàn)[1]）
2017年提出的Transformer模型，則能夠同時(shí)并行進(jìn)行數(shù)據(jù)計(jì)算和模型訓(xùn)練，訓(xùn)練時(shí)長(zhǎng)更短，并且訓(xùn)練得出的模型可用語(yǔ)法解釋?zhuān)簿褪悄Ｐ途哂锌山忉屝浴?/span>
這個(gè)最初的Transformer模型，一共有6500萬(wàn)個(gè)可調(diào)參數(shù)。谷歌大腦團(tuán)隊(duì)使用了多種公開(kāi)的語(yǔ)言數(shù)據(jù)集來(lái)訓(xùn)練這個(gè)最初的Transformer模型。這些數(shù)據(jù)集包括2014年英語(yǔ)-德語(yǔ)機(jī)器翻譯研討班（WMT）數(shù)據(jù)集（有450萬(wàn)組英德對(duì)應(yīng)句組），2014年英語(yǔ)-法語(yǔ)機(jī)器翻譯研討班數(shù)據(jù)集（3600萬(wàn)英法對(duì)應(yīng)句組），以及賓夕法尼亞大學(xué)樹(shù)庫(kù)語(yǔ)言數(shù)據(jù)集中的部分句組（分別取了其中來(lái)自《華爾街日?qǐng)?bào)》的4萬(wàn)個(gè)句子，以及另外在該庫(kù)中選取1700萬(wàn)個(gè)句子）。而且，谷歌大腦團(tuán)隊(duì)在文中提供了模型的架構(gòu)，任何人都可以用其搭建類(lèi)似架構(gòu)的模型來(lái)并結(jié)合自己手上的數(shù)據(jù)進(jìn)行訓(xùn)練。
經(jīng)過(guò)訓(xùn)練后，這個(gè)最初的Transformer模型在包括翻譯準(zhǔn)確度、英語(yǔ)成分句法分析等各項(xiàng)評(píng)分上都達(dá)到了業(yè)內(nèi)第一，成為當(dāng)時(shí)最先進(jìn)的大型語(yǔ)言模型（Large Language Model, LLM）。
大型語(yǔ)言模型（LLM）主要大事記
Transformer模型自誕生的那一刻起，就深刻地影響了接下來(lái)幾年人工智能領(lǐng)域的發(fā)展軌跡。短短的幾年里，該模型的影響已經(jīng)遍布人工智能的各個(gè)領(lǐng)域——從各種各樣的自然語(yǔ)言模型、到預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)的AlphaFold2模型，用的都是它。
2. 不斷迭代：尋找語(yǔ)言模型的極限
在這么多跟進(jìn)、研究Transformer模型團(tuán)隊(duì)中，OpenAI公司是少數(shù)一直在專(zhuān)注尋找它的極限的一支。
2015年12月，OpenAI公司美國(guó)舊金山成立。特斯拉的創(chuàng)始人馬斯克也是該公司創(chuàng)始人之一，為公司早期提供了資金支持（后來(lái)他從該公司退出，但保留了金主身份，并未撤資）。成立早期，OpenAI是一家非營(yíng)利組織，以研發(fā)對(duì)人類(lèi)社會(huì)有益、友好的人工智能技術(shù)為使命。2019年，OpenAI改變了其性質(zhì)，宣布成為營(yíng)利機(jī)構(gòu)，這個(gè)改變與Transformer模型不無(wú)相關(guān)。
2018年，在Transformer模型誕生還不到一年的時(shí)候，OpenAI公司發(fā)表了論文“Improving Language Understanding by Generative Pre-training”（用創(chuàng)造型預(yù)訓(xùn)練提高模型的語(yǔ)言理解力）（Generative一般譯為“生成型”，但我認(rèn)為譯為“創(chuàng)造型”更合適）[2]，推出了具有1.17億個(gè)參數(shù)的GPT-1（Generative Pre-training Transformers, 創(chuàng)造型預(yù)訓(xùn)練變換器）模型。這是一個(gè)用大量數(shù)據(jù)訓(xùn)練好的基于Transformer結(jié)構(gòu)的模型。他們使用了經(jīng)典的大型書(shū)籍文本數(shù)據(jù)集（BookCorpus）進(jìn)行模型預(yù)訓(xùn)練。該數(shù)據(jù)集包含超過(guò)7000本從未出版的書(shū)，類(lèi)型涵蓋了冒險(xiǎn)、奇幻、言情等類(lèi)別。在預(yù)訓(xùn)練之后，作者針對(duì)四種不同的語(yǔ)言場(chǎng)景、使用不同的特定數(shù)據(jù)集對(duì)模型進(jìn)行進(jìn)一步的訓(xùn)練（又稱(chēng)為微調(diào)，fine-tuning）。最終訓(xùn)練所得的模型在問(wèn)答、文本相似性評(píng)估、語(yǔ)義蘊(yùn)含判定、以及文本分類(lèi)這四種語(yǔ)言場(chǎng)景，都取得了比基礎(chǔ)Transformer模型更優(yōu)的結(jié)果，成為了新的業(yè)內(nèi)第一。
2019年，該公司公布了一個(gè)具有15億個(gè)參數(shù)的模型：GPT-2。該模型架構(gòu)與GPT-1原理相同，主要區(qū)別是GPT-2的規(guī)模更大（10倍）。同時(shí)，他們發(fā)表了介紹這個(gè)模型的論文“Language Models are Unsupervised Multitask Learners” （語(yǔ)言模型是無(wú)監(jiān)督的多任務(wù)學(xué)習(xí)者）[3]。在這項(xiàng)工作中，他們使用了自己收集的以網(wǎng)頁(yè)文字信息為主的新的數(shù)據(jù)集。不出意料，GPT-2模型刷新了大型語(yǔ)言模型在多項(xiàng)語(yǔ)言場(chǎng)景的評(píng)分記錄。在文中，他們提供了GPT-2模型回答新問(wèn)題（模型訓(xùn)練數(shù)據(jù)中未出現(xiàn)過(guò)的問(wèn)題及其答案）的結(jié)果。
GPT-2模型回答新問(wèn)題的結(jié)果（圖片來(lái)源[3])
2020年，這個(gè)創(chuàng)業(yè)團(tuán)隊(duì)再次戰(zhàn)勝自己，發(fā)表論文“Language Models are Few-Shot Learner”（語(yǔ)言模型是小樣本學(xué)習(xí)者）[4]，并推出了最新的GPT-3模型——它有1750億個(gè)參數(shù)。GPT-3模型架構(gòu)與GPT-2沒(méi)有本質(zhì)區(qū)別，除了規(guī)模大了整整兩個(gè)數(shù)量級(jí)以外。GPT-3的訓(xùn)練集也比前兩款GPT模型要大得多：經(jīng)過(guò)基礎(chǔ)過(guò)濾的全網(wǎng)頁(yè)爬蟲(chóng)數(shù)據(jù)集（4290億個(gè)詞符）、維基百科文章（30億詞符）、兩個(gè)不同的書(shū)籍?dāng)?shù)據(jù)集（一共670億詞符）。
由于巨大的參數(shù)數(shù)目以及訓(xùn)練所需數(shù)據(jù)集規(guī)模，訓(xùn)練一個(gè)GPT-3模型保守估計(jì)需要五百萬(wàn)美元至兩千萬(wàn)美元不等——如果用于訓(xùn)練的GPU越多，成本越高，時(shí)間越短；反之亦然?？梢哉f(shuō)，這個(gè)數(shù)量級(jí)的大型語(yǔ)言模型已經(jīng)不是普通學(xué)者、一般個(gè)人能負(fù)擔(dān)得起研究項(xiàng)目了。面對(duì)如此龐大的GPT-3模型，用戶(hù)可以?xún)H提供小樣本的提示語(yǔ)、或者完全不提供提示而直接詢(xún)問(wèn)，就能獲得符合要求的高質(zhì)量答案。小樣本提示是指用戶(hù)在提問(wèn)時(shí)先給模型提供幾個(gè)例子，然后再提出自己的語(yǔ)言任務(wù)（翻譯、創(chuàng)作文本、回答問(wèn)題等）。
GPT-3可以根據(jù)用戶(hù)給的提示語(yǔ)（類(lèi)似于例子）而更好的回答問(wèn)題（圖片來(lái)源：[4]）
GPT-3模型面世時(shí)，未提供廣泛的用戶(hù)交互界面，并且要求用戶(hù)提交申請(qǐng)、申請(qǐng)批準(zhǔn)后才能注冊(cè)，所以直接體驗(yàn)過(guò)GPT-3模型的人數(shù)并不多。根據(jù)體驗(yàn)過(guò)的人們?cè)诰W(wǎng)上分享的體驗(yàn)，我們可以知道GPT-3可以根據(jù)簡(jiǎn)單的提示自動(dòng)生成完整的、文從字順的長(zhǎng)文章，讓人幾乎不能相信這是機(jī)器的作品。GPT-3還會(huì)寫(xiě)程序代碼、創(chuàng)作菜譜等幾乎所有的文本創(chuàng)作類(lèi)的任務(wù)。早期測(cè)試結(jié)束后，OpenAI公司對(duì)GPT-3模型進(jìn)行了商業(yè)化：付費(fèi)用戶(hù)可以通過(guò)應(yīng)用程序接口（API）連上GPT-3，使用該模型完成所需語(yǔ)言任務(wù)。2020年9月，微軟公司獲得了GPT-3模型的獨(dú)占許可，意味著微軟公司可以獨(dú)家接觸到GPT-3的源代碼。該獨(dú)占許可不影響付費(fèi)用戶(hù)通過(guò)API繼續(xù)使用GPT-3模型。
2022年3月，OpenAI再次發(fā)表論文“Training language models to follow instructions with human feedback”（結(jié)合人類(lèi)反饋信息來(lái)訓(xùn)練語(yǔ)言模型使其能理解指令），并推出了他們基于GPT-3模型并進(jìn)行了進(jìn)一步的微調(diào)的InstructGPT模型。InstructGPT的模型訓(xùn)練中加入了人類(lèi)的評(píng)價(jià)和反饋數(shù)據(jù)，而不僅僅是事先準(zhǔn)備好的數(shù)據(jù)集。
GPT-3公測(cè)期間用戶(hù)提供了大量的對(duì)話(huà)和提示語(yǔ)數(shù)據(jù)，而OpenAI公司內(nèi)部的數(shù)據(jù)標(biāo)記團(tuán)隊(duì)也生成了不少人工標(biāo)記數(shù)據(jù)集。這些標(biāo)注過(guò)的數(shù)據(jù)（labelled data），可以幫助模型在直接學(xué)習(xí)數(shù)據(jù)的同時(shí)學(xué)習(xí)人類(lèi)對(duì)這些數(shù)據(jù)的標(biāo)記（例如某些句子、詞組是不好的，應(yīng)盡量少使用）。
OpenAI公司第一步先用這些數(shù)據(jù)對(duì)GPT-3用監(jiān)督式訓(xùn)練（supervised learning）進(jìn)行了微調(diào)。
第二步，他們收集了微調(diào)過(guò)的模型生成的答案樣本。一般來(lái)說(shuō)，對(duì)于每一條提示語(yǔ)，模型可以給出無(wú)數(shù)個(gè)答案，而用戶(hù)一般只想看到一個(gè)答案（這也是符合人類(lèi)交流的習(xí)慣），模型需要對(duì)這些答案排序，選出最優(yōu)。所以，數(shù)據(jù)標(biāo)記團(tuán)隊(duì)在這一步對(duì)所有可能的答案進(jìn)行人工打分排序，選出最符合人類(lèi)思考交流習(xí)慣的答案。這些人工打分的結(jié)果可以進(jìn)一步建立獎(jiǎng)勵(lì)模型——獎(jiǎng)勵(lì)模型可以自動(dòng)給語(yǔ)言模型獎(jiǎng)勵(lì)反饋，達(dá)到鼓勵(lì)語(yǔ)言模型給出好的答案、抑制不好的答案的目的，幫助模型自動(dòng)尋出最優(yōu)答案。
第三步，該團(tuán)隊(duì)使用獎(jiǎng)勵(lì)模型和更多的標(biāo)注過(guò)的數(shù)據(jù)繼續(xù)優(yōu)化微調(diào)過(guò)的語(yǔ)言模型，并且進(jìn)行迭代。最終得到的模型被稱(chēng)為InstructGPT。
3. ChatGPT的誕生
我們今天的主角是ChatGPT及其前身，所以無(wú)法避免以O(shè)penAI公司為主線來(lái)講述。從GPT-1到InstructGPT，如果我們只關(guān)注OpenAI公司，難免會(huì)忽視掉其他人工智能公司和團(tuán)隊(duì)其實(shí)在同期也在進(jìn)行與OpenAI公司同樣的嘗試。在GPT-3推出后的兩年內(nèi)，有不少類(lèi)似的大型語(yǔ)言模型涌現(xiàn)，但不得不說(shuō)的是，名氣最大的模型還是GPT-3。
GPT-3的部分競(jìng)品（圖片來(lái)源：gpt3demo.com）
時(shí)間線回到今天。在今年神經(jīng)信息處理系統(tǒng)大會(huì)會(huì)議期間，OpenAI公司在社交網(wǎng)絡(luò)上向世界宣布他們最新的大型語(yǔ)言預(yù)訓(xùn)練模型：ChatGPT。
與InstructGPT模型類(lèi)似，ChatGPT是OpenAI對(duì)GPT-3模型（又稱(chēng)為GPT-3.5）微調(diào)后開(kāi)發(fā)出來(lái)的對(duì)話(huà)機(jī)器人。OpenAI官網(wǎng)信息顯示，ChatGPT模型與InstructGPT模型是姐妹模型。由于最大的InstructGPT模型的參數(shù)數(shù)目為1750億（與GPT-3模型相同），所以有理由相信ChatGPT參數(shù)量也是在這個(gè)數(shù)量級(jí)。但是，根據(jù)文獻(xiàn)，在對(duì)話(huà)任務(wù)上表現(xiàn)最優(yōu)的InstructGPT模型的參數(shù)數(shù)目為15億，所以ChatGPT的參數(shù)量也有可能相當(dāng)[5]。
自美國(guó)時(shí)間12月2日上線以來(lái)，ChatGPT已經(jīng)擁有超過(guò)一百萬(wàn)的用戶(hù)。用戶(hù)們?cè)谏缃幻襟w上曬出來(lái)的對(duì)話(huà)例子表明ChatGPT這款模型與GPT-3類(lèi)似，能完成包括寫(xiě)代碼，修bug（代碼改錯(cuò)），翻譯文獻(xiàn)，寫(xiě)小說(shuō)，寫(xiě)商業(yè)文案，創(chuàng)作菜譜，做作業(yè)，評(píng)價(jià)作業(yè)等一系列常見(jiàn)文字輸出型任務(wù)。ChatGPT比GPT-3的更優(yōu)秀的一點(diǎn)在于，前者在回答時(shí)更像是在與你對(duì)話(huà)，而后者更善于產(chǎn)出長(zhǎng)文章，欠缺口語(yǔ)化的表達(dá)。有人利用ChatGPT與客服對(duì)話(huà)，要回了多交了的款項(xiàng)（這或許意味著ChatGPT在某種意義上通過(guò)了圖靈測(cè)試），或許ChatGPT能成為社恐人士的好伙伴。
4. 問(wèn)題警告
OpenAI的研發(fā)團(tuán)隊(duì)在推出ChatGPT時(shí)，警告用戶(hù)該款模型存在一些問(wèn)題，而經(jīng)過(guò)全球網(wǎng)民們的反復(fù)試探，大家也已證實(shí)了這些問(wèn)題的存在。
首先，ChatGPT背后的大型語(yǔ)言模型的訓(xùn)練集最近數(shù)據(jù)截止于2021年底，所以任何關(guān)于過(guò)去一年里發(fā)生的事件，它無(wú)法給出準(zhǔn)確的答案。其次，當(dāng)用戶(hù)想利用ChatGPT獲取準(zhǔn)確信息（例如寫(xiě)代碼，查菜譜）時(shí)，ChatGPT回答的準(zhǔn)確度是不穩(wěn)定的，用戶(hù)需要具有鑒別回答質(zhì)量與準(zhǔn)確性的能力。由于準(zhǔn)確性問(wèn)題，代碼交流網(wǎng)站StackOverflow已經(jīng)禁止用戶(hù)在其網(wǎng)站上引用ChatGPT生成的代碼。
對(duì)此，亞馬遜AWS上海人工智能研究院院長(zhǎng)張崢老師評(píng)價(jià)道：ChatGPT模型的訓(xùn)練方法有個(gè)致命的問(wèn)題，訓(xùn)練好的模型在回答問(wèn)題時(shí)，對(duì)于各種可能的答案的打分機(jī)制用的是排序，也就是說(shuō)第二步是粗打分。這就造成了模型瞎想的錯(cuò)誤被混入（例如（排名更靠前的）A句比（排名靠后的）B句好不等于A句里沒(méi)有犯常識(shí)或事實(shí)錯(cuò)誤）。問(wèn)答不僅因?yàn)閳?chǎng)景是開(kāi)放性的，更重要的是每一步無(wú)理還是有理可以是灰色的，需要細(xì)分。這問(wèn)題并不是無(wú)解了，這里還有很多基礎(chǔ)性的工作要做。
最后，提問(wèn)者對(duì)于問(wèn)題的描述也會(huì)影響ChatGPT回答的準(zhǔn)確性。這個(gè)問(wèn)題可能會(huì)產(chǎn)生意想不到的影響。今年早些時(shí)候，OpenAI推出了最新的人工智能繪畫(huà)系統(tǒng)DALL·E 2（同期還有不少類(lèi)似的產(chǎn)品，例如Midjourney等）。用戶(hù)只需要提供語(yǔ)言描述，DALL·E 2 就能夠根據(jù)該描述生成一幅畫(huà)。不夸張地說(shuō)，這些圖畫(huà)的質(zhì)量、風(fēng)格、均可與專(zhuān)業(yè)畫(huà)家創(chuàng)作的作品媲美。
DALL·E 2 生成的一副現(xiàn)代畫(huà)（圖片來(lái)源：openai.com)
于是，在美術(shù)界為此感到震驚的同時(shí)，提示語(yǔ)生意（prompt engineering）悄然升起：好的提示語(yǔ)能引導(dǎo)人工智能模型生成更符合要求、更賞心悅目的作品；而不夠好的提示語(yǔ)，則往往導(dǎo)致不倫不類(lèi)的學(xué)生習(xí)作級(jí)別（甚至更糟糕）的作品。所以，如何寫(xiě)好提示語(yǔ)、與人工智能模型高質(zhì)量的進(jìn)行對(duì)話(huà)，成了新的創(chuàng)業(yè)熱點(diǎn)。美國(guó)舊金山的初創(chuàng)公司PromptBase推出了$1.99美元一條提示語(yǔ)的服務(wù)，主要用于針對(duì)DALL·E 2，GPT-3等內(nèi)容創(chuàng)作模型?；蛟S他們很快也會(huì)把ChatGPT也加到自己的業(yè)務(wù)范疇里。
根據(jù)之前提到的小樣本學(xué)習(xí)和引入人類(lèi)反饋的原理，我們已經(jīng)知道，如果我們先給ChatGPT模型提供幾個(gè)例子，然后再提出語(yǔ)言任務(wù)，或者通過(guò)不斷給出反饋而引導(dǎo)ChatGPT，ChatGPT的回答會(huì)更符合我們的要求。所以，寫(xiě)一個(gè)好的提示語(yǔ)，能讓ChatGPT給你更多的驚喜。
5. 人工智能進(jìn)化，終點(diǎn)在哪里？
從2017年的Transformer到今天的ChatGPT，大型語(yǔ)言模型經(jīng)歷了如此多的迭代，一代比一代性能更強(qiáng)。未來(lái)，OpenAI會(huì)繼續(xù)給我們帶來(lái)GPT-4、GPT-5，甚至GPT-100。而我們此時(shí)與ChatGPT火熱的、奇葩的、腦洞大開(kāi)的聊天記錄，也會(huì)全部變成下一代模型的訓(xùn)練數(shù)據(jù)。
2016年，OpenAI公司創(chuàng)立時(shí)初衷是要開(kāi)發(fā)對(duì)人類(lèi)有益的人工智能技術(shù)。在過(guò)去的六年里，沒(méi)有任何線索顯示他們違背了初衷——相反，ChatGPT及其背后的大型語(yǔ)言模型看起來(lái)就是一項(xiàng)面向未來(lái)的先進(jìn)生產(chǎn)力。我們有理由相信，以大型語(yǔ)言模型為例子的人工智能技術(shù)能幫助我們更好的完成學(xué)習(xí)與工作，過(guò)上更美好的生活；我們也有理由相信，我們應(yīng)該繼續(xù)支持、開(kāi)發(fā)、推廣人工智能，使其能惠及大眾。但是，我們已經(jīng)無(wú)法忽視人工智能技術(shù)進(jìn)化、迭代的速度遠(yuǎn)高于人類(lèi)、生物體的進(jìn)化速度。
OpenAI聯(lián)合創(chuàng)始人馬斯克在意識(shí)到人工智能的巨大潛能時(shí)，曾經(jīng)就OpenAI的創(chuàng)始初衷談到：“我們要怎樣做才能保證人工智能帶給我們的未來(lái)是友好的？在嘗試開(kāi)發(fā)友好的人工智能技術(shù)的過(guò)程中會(huì)一直存在一種風(fēng)險(xiǎn)，那就是我們可能會(huì)創(chuàng)造出讓我們擔(dān)憂(yōu)的事物來(lái)。不過(guò)，最好的壁壘可能是讓更多的人盡可能多的接觸并且擁有人工智能技術(shù)。如果每個(gè)人都能利用人工智能技術(shù)，那么由于不會(huì)存在某一小部分人由于獨(dú)自擁有過(guò)于強(qiáng)大的人工智能技術(shù)而導(dǎo)致危險(xiǎn)后果的可能性?！?/span>
但馬斯克沒(méi)有談到的是，就算人人都能擁有使用人工智能技術(shù)的機(jī)會(huì)與能力，若人工智能技術(shù)本身發(fā)展到了人類(lèi)不可控制的地步，我們要如何建立自己的堡壘。像《沙丘》故事里所影射的人類(lèi)與會(huì)思考的機(jī)器的世界大戰(zhàn)，要如何避免？ChatGPT的存在，還遠(yuǎn)遠(yuǎn)未到人們需要擔(dān)心的那步，但人工智能進(jìn)化的終點(diǎn)，將在哪里結(jié)束？
在創(chuàng)造人工智能的途中，人類(lèi)很難停止發(fā)問(wèn)——高速發(fā)展的人工智能技術(shù)，有一天會(huì)逼迫我們?nèi)ゲ坏貌贿x擇沙丘一樣原始的未來(lái)嗎？
ChatGPT也不知道。
作者簡(jiǎn)介：
孫睿晨，加州大學(xué)圣地亞哥分校神經(jīng)生物學(xué)博士，現(xiàn)為藥企數(shù)據(jù)科學(xué)家。
參考資料：
1.https://arxiv.org/abs/1706.03762
2.https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf
3.https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf
4.https://arxiv.org/abs/2005.14165v4
5.https://arxiv.org/abs/2203.02155
制版編輯 ｜ 小毛
歡迎關(guān)注我們，投稿、授權(quán)等請(qǐng)聯(lián)系
saixiansheng@zhishifenzi.com
