6月10日，OpenAI創(chuàng)始人Sam Altman以視頻連線的方式現(xiàn)身于中國北京舉辦的2023智源人工智能大會，這是Altman首次對中國觀眾發(fā)表演講。

Altman在演講中引用了《道德經(jīng)》，談及大國合作，表示AI安全始于足下，各國間必須進(jìn)行合作和協(xié)調(diào)。

(相關(guān)資料圖)

隨后Altman接受了智源研究院理事長張宏江的一對一問答。

張宏江博士目前任北京智源人工智能研究院理事長，同時(shí)擔(dān)任多家公司的獨(dú)立董事和顧問。曾任金山集團(tuán)執(zhí)行董事及首席執(zhí)行官兼金山云的首席執(zhí)行官，是微軟亞洲研究院創(chuàng)始人之一，曾擔(dān)任副院長、微軟亞太研發(fā)集團(tuán)(ARD)首席技術(shù)官及微軟亞洲工程院(ATC)院長以及微軟“杰出科學(xué)家”。

加盟微軟之前，張宏江曾任美國硅谷的惠普實(shí)驗(yàn)室任經(jīng)理；此前還在新加坡國立大學(xué)系統(tǒng)科學(xué)研究院工作。

Altman演講核心內(nèi)容：

當(dāng)下人工智能革命影響如此之大的原因，不僅在于其影響的規(guī)模，也是其進(jìn)展的速度。這同時(shí)帶來紅利和風(fēng)險(xiǎn)。

隨著日益強(qiáng)大的 AI 系統(tǒng)的出現(xiàn)，全球合作的重要性從未如此之大。在一些重要的大事上，各國間必須進(jìn)行合作和協(xié)調(diào)。推進(jìn) AGI 安全是我們需要找到共同利益點(diǎn)的最重要的領(lǐng)域之一。

對齊仍然是一個(gè)未解決的問題。GPT-4 花了八個(gè)月的時(shí)間完成對齊方面的工作。但相關(guān)的研究還在升級，主要分為擴(kuò)展性和可解釋性兩方面。

問答環(huán)節(jié)核心內(nèi)容：

十年內(nèi)人類將擁有強(qiáng)大的人工智能系統(tǒng)(AI System)。

OpenAI沒有相關(guān)的新的有關(guān)開源的時(shí)間表，開源模型具有優(yōu)勢，但開源一切可能并不是一條(促進(jìn)AI發(fā)展的)最佳路線。

看明白神經(jīng)網(wǎng)絡(luò)比看明白人類腦子容易多了。

在某個(gè)時(shí)候，會嘗試做GPT-5的模型，但不會是很快。不知道具體GPT-5出現(xiàn)的時(shí)候。

AI安全需要中國研究者的參與和貢獻(xiàn)。

Sam Altman演講內(nèi)容：

隨著日益強(qiáng)大的人工智能系統(tǒng)的出現(xiàn)，全球合作的賭注從未如此之高。

如果我們不小心，一個(gè)旨在改善公共衛(wèi)生結(jié)果的錯(cuò)位的人工智能系統(tǒng)，可能會提供沒有根據(jù)的建議，從而擾亂整個(gè)醫(yī)療保健系統(tǒng)。同樣，為優(yōu)化農(nóng)業(yè)生產(chǎn)而設(shè)計(jì)的人工智能系統(tǒng)可能會無意中耗盡自然資源或破壞生態(tài)系統(tǒng)，因?yàn)槿狈τ绊懠Z食生產(chǎn)的長期可持續(xù)性的考慮，這是一種環(huán)境平衡。

我希望我們都能同意，推進(jìn)AGI安全是我們需要共同努力，尋找共性的最重要領(lǐng)域之一。

我發(fā)言的其余部分將集中在我們可以從哪里開始：1.第一個(gè)方面是AGI治理，AGI從根本上成為了改變我們文明的強(qiáng)大力量，強(qiáng)調(diào)了有意義的國際合作和協(xié)調(diào)的必要性。每個(gè)人都會從合作治理方法中受益。如果我們安全、負(fù)責(zé)任地駕馭這條道路，AgI系統(tǒng)可以為全球經(jīng)濟(jì)創(chuàng)造無與倫比的經(jīng)濟(jì)繁榮，解決氣候變化和全球健康安全等共同挑戰(zhàn)，并提高社會福祉。

我也深深地相信在未來。我們需要在AGI安全方面進(jìn)行投資，才能到達(dá)所想要達(dá)到的地方，并在那里享受它。

要做到這樣我們需要認(rèn)真協(xié)調(diào)。這是一項(xiàng)具有全球影響力的全球技術(shù)。不計(jì)后果的開發(fā)和部署所造成的事故成本將影響到我們所有人。

國際合作中，我認(rèn)為有兩個(gè)關(guān)鍵領(lǐng)域是最重要的。

首先我們需要建立國際規(guī)范和標(biāo)準(zhǔn)，并注意過程中注重包容性。在任何國家使用 AGI 系統(tǒng)，都應(yīng)平等而一致地遵循這樣的國際標(biāo)準(zhǔn)和規(guī)范。在這些安全護(hù)欄內(nèi)，我們相信人們有足夠的機(jī)會做出自己的選擇。

第二，我們需要國際合作，以可核查的方式建立對安全開發(fā)日益強(qiáng)大的 AI 系統(tǒng)的國際間信任。我并不妄想這是一件容易的事，需要投入大量和持續(xù)的關(guān)注。

《道德經(jīng)》告訴我們：千里之行，始于足下。我們認(rèn)為，在這方面最具建設(shè)性的第一步是與國際科學(xué)和技術(shù)界合作。

需要強(qiáng)調(diào)的是，我們應(yīng)該在推動(dòng)技術(shù)進(jìn)步這一方面增加透明度和知識共享的機(jī)制。在AGI安全方面，發(fā)現(xiàn)新出現(xiàn)的安全問題的研究人員們應(yīng)該為了更大的利益分享他們的見解。

我們需要認(rèn)真思考如何在鼓勵(lì)這種規(guī)范的同時(shí)，也尊重和保護(hù)知識產(chǎn)權(quán)。如果我們這樣做，那么，它將為我們深化合作打開新的大門。

更廣泛地來講，我們應(yīng)該投資于促進(jìn)和引導(dǎo)對AI對齊和安全的研究。

在Open AI，我們今天的研究主要集中在技術(shù)問題上，讓AI在我們目前的系統(tǒng)中充當(dāng)一個(gè)有幫助且更安全的角色。這可能也意味著，我們訓(xùn)練ChatGPT的方式，使其不做出暴力威脅或協(xié)助用戶進(jìn)行有害活動(dòng)的舉措。

但隨著我們?nèi)找娼咏?AGI 的時(shí)代，沒有對齊的 AI 系統(tǒng)的潛在影響力和影響規(guī)模將成倍增長?，F(xiàn)在積極主動(dòng)地解決這些挑戰(zhàn)，能將未來出現(xiàn)災(zāi)難性結(jié)果的風(fēng)險(xiǎn)降到最低。

對于目前的系統(tǒng)，我們主要利用人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)來訓(xùn)練我們的模型，使其成為一個(gè)有幫助的安全助手。這只是各種訓(xùn)練后調(diào)整技術(shù)中的一個(gè)例子。而且我們也在努力研究新的技術(shù)，其中需要很多艱苦的工程工作。

從 GPT4 完成預(yù)培訓(xùn)到我們部署它，我們專門花了 8 個(gè)月的時(shí)間來進(jìn)行對齊方面的工作?？偟膩碚f，我們認(rèn)為我們在這方面做得很好。GPT4 比我們以前的任何模型都更加與人類對齊。

然而，對于更先進(jìn)的系統(tǒng)，對齊仍然是一個(gè)未解決的問題，我們認(rèn)為這需要新的技術(shù)方法，同時(shí)增強(qiáng)治理和監(jiān)督。

對于未來的AGI系統(tǒng)，它提出了10萬行二進(jìn)制代碼。人類監(jiān)督者不太可能發(fā)現(xiàn)這樣的模型是否在做一些邪惡的事情。所以我們正在投資一些新的、互補(bǔ)的研究方向，希望能夠?qū)崿F(xiàn)突破。

一個(gè)是可擴(kuò)展的監(jiān)督。我們可以嘗試使用人工智能系統(tǒng)來協(xié)助人類監(jiān)督其他人工智能系統(tǒng)。例如，我們可以訓(xùn)練一個(gè)模型來幫助人類監(jiān)督發(fā)現(xiàn)其他模型的輸出中的缺陷。

第二個(gè)是解釋能力。我們想嘗試更好地了解這些模型內(nèi)部發(fā)生了什么。我們最近發(fā)表了一篇論文，使用 GPT-4 來解釋 GPT-2 中的神經(jīng)元。 在另一篇論文中，我們使用 Model Internals 來檢測一個(gè)模型何時(shí)在說謊。我們還有很長的路要走。我們相信，先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)可以進(jìn)一步提高我們解釋的能力。

最終，我們的目標(biāo)是訓(xùn)練 AI 系統(tǒng)來幫助進(jìn)行對齊研究。這種方法的好處在于，它可以隨著 AI 的發(fā)展速度而擴(kuò)展。

獲得 AGI 帶來的非凡好處，同時(shí)降低風(fēng)險(xiǎn)，是我們這個(gè)時(shí)代的開創(chuàng)性挑戰(zhàn)之一。我們看到中國、美國以及世界各地的研究人員有很大的潛力來共同實(shí)現(xiàn)同一個(gè)目標(biāo)，并致力于努力解決 AGI 對齊帶來的技術(shù)挑戰(zhàn)。

如果我們這樣做，我相信我們將能夠利用 AGI 來解決世界上最重要的問題，并極大地改善人類的生活質(zhì)量。非常感謝。

以下為對話實(shí)錄：

未來十年我們會有非常強(qiáng)大的AI系統(tǒng)

智源研究院理事長張宏江提問：我們距離通用人工智能(AGI)還有多遠(yuǎn)?風(fēng)險(xiǎn)是不是很緊迫，還是我們離它還很遙遠(yuǎn)?

Sam Altman：這很難評估具體時(shí)間。很可能未來十年我們會有非常強(qiáng)大的AI系統(tǒng)，新技術(shù)從根本上改變世界的速度比我們想象的快。在那樣的世界里，我認(rèn)為把這件事(AI安全規(guī)則)做好是重要且緊迫的，這就是為什么我呼吁國際社會共同努力的原因。

從某種意義上說，我們現(xiàn)在看到的新技術(shù)的加速和系統(tǒng)的影響是前所未有的。所以我認(rèn)為要為即將發(fā)生的事情做好準(zhǔn)備，并了解有關(guān)安全的問題?？紤]到AI規(guī)模龐大，這其中的利害關(guān)系相當(dāng)重要。

中國、美國和其他國家以及歐洲這三個(gè)主要集團(tuán)是人工智能創(chuàng)新背后的驅(qū)動(dòng)力，在你看來，在AGI安全這個(gè)領(lǐng)域中，不同國家分別又有什么優(yōu)勢來解決這一問題，特別是解決人工智能安全問題。如何將這些優(yōu)勢結(jié)合到一起?

全球合作為AI提出安全標(biāo)準(zhǔn)和框架

張宏江：您剛才在前期的介紹中也提到了幾次，正在進(jìn)行全球合作。我們知道，在過去世界面臨著相當(dāng)多的危機(jī)。不知何故，對他們中的許多人來說，我們設(shè)法建立了共識，建立全球合作。你也在進(jìn)行一次全球巡演，你正在努力推動(dòng)怎樣的全球合作?

Sam Altman：是的，我對到目前為止大家的反應(yīng)和回答都非常滿意。我認(rèn)為人們非常認(rèn)真地對待AGI的風(fēng)險(xiǎn)和機(jī)遇。

我認(rèn)為在過去的6個(gè)月里，對于安全的討論已經(jīng)取得了相當(dāng)大的進(jìn)展。人們似乎真的致力于找出一種結(jié)構(gòu)，讓我們能夠享受這些好處，同時(shí)在全球范圍內(nèi)共同努力降低風(fēng)險(xiǎn)。我認(rèn)為我們非常適合做這件事。全球合作總是困難的，但我認(rèn)為這是一種將世界團(tuán)結(jié)在一起的機(jī)會和威脅。我們可以為這些系統(tǒng)提出一個(gè)框架和安全標(biāo)準(zhǔn)，這將非常有幫助。

人工智能的對齊問題如何解決

張宏江：你提到先進(jìn)人工智能的對齊是一個(gè)尚未解決的問題。我還注意到OpenAI在過去的幾年里付出了很多努力。你提到GPT-4是迄今為止在對齊領(lǐng)域最好的例子。你認(rèn)為我們可以僅僅通過微調(diào)(API)來解決AGI的安全問題嗎?或者比這個(gè)問題的解決方式要困難得多?

Sam Altman：我認(rèn)為對齊這個(gè)詞有不同的理解方式。我認(rèn)為我們需要解決的是整個(gè)人工智能系統(tǒng)中的挑戰(zhàn)，傳統(tǒng)意義上的對齊——讓模型的行為符合用戶的意圖，當(dāng)然是其中的一部分。

但還會有其他問題，比如我們?nèi)绾悟?yàn)證系統(tǒng)正在做什么，我們希望它們做什么，以及我們?nèi)绾握{(diào)整系統(tǒng)的價(jià)值。最重要的是要看到AGI安全的整體情況。

如果沒有技術(shù)解決方案，其他一切都很難。我認(rèn)為集中精力確保我們解決安全方面的技術(shù)問題是非常重要的。正如我所提到的，弄清楚我們的價(jià)值觀是什么，這不是一個(gè)技術(shù)問題。盡管它需要技術(shù)投入，但這是一個(gè)值得全社會深入討論的問題。我們必須設(shè)計(jì)公平、具有代表性和包容性的系統(tǒng)。

張宏江：針對對齊，我們那看到GPT-4所做的，仍然是從技術(shù)的角度出發(fā)的解決方案。但除了技術(shù)之外，還有許多其他因素，且往往是系統(tǒng)性的。人工智能安全在這里可能也不例外。除了技術(shù)方面，還有哪些因素和問題?你認(rèn)為對人工智能安全至關(guān)重要嗎?我們應(yīng)該如何應(yīng)對這些挑戰(zhàn)?尤其是我們大多數(shù)人都是科學(xué)家。我們應(yīng)該做什么。

Sam Altman：這無疑是一個(gè)非常復(fù)雜的問題。但如果沒有技術(shù)解決方案，其他一切都很難解決。我認(rèn)為集中精力確保我們解決安全方面的技術(shù)問題是非常重要的。正如我所提到的，弄清楚我們的價(jià)值觀是什么，這不是一個(gè)技術(shù)問題。它需要技術(shù)投入，但這同時(shí)也是一個(gè)值得全社會深入討論的問題。我們必須設(shè)計(jì)公平、具有代表性和包容性的系統(tǒng)。

而且，正如你所指出的，我們需要考慮的不僅僅是人工智能模型拉動(dòng)本身的安全性，而是整個(gè)系統(tǒng)。

因此，可以構(gòu)建在系統(tǒng)上運(yùn)行的安全分類器和檢測器很重要，它們可以監(jiān)控AI是否符合使用策略。我認(rèn)為很難提前預(yù)測任何技術(shù)會出現(xiàn)的所有問題。因此，從現(xiàn)實(shí)世界的使用中學(xué)習(xí)，并反復(fù)部署，看看當(dāng)你真正創(chuàng)造現(xiàn)實(shí)并改進(jìn)它時(shí)會發(fā)生什么。

讓人類和社會有時(shí)間學(xué)習(xí)和更新，并思考這些模型將如何以好的和壞的方式與他們的生活互動(dòng)，這也很重要。

需要各國共同合作

張宏江：早些時(shí)候，你提到了全球合作。你一直在環(huán)游世界，中國、美國和以及歐洲等各國都是人工智能創(chuàng)新背后的驅(qū)動(dòng)力，在你看來，在AGI中，不同國家分別有哪些優(yōu)勢來解決AGI問題，特別是解決人安全問題。如何將這些優(yōu)勢結(jié)合到一起?

Sam Altman：我認(rèn)為通常需要很多不同的視角和人工智能安全。我們還沒有得到所有的答案，這是一個(gè)相當(dāng)困難和重要的問題。

此外，正如所提到的，這不是一個(gè)純粹的技術(shù)問題，使人工智能安全和有益的。涉及在非常不同的背景下了解不同國家的用戶偏好。我們需要很多不同的投入才能實(shí)現(xiàn)這一目標(biāo)。中國擁有一些世界上最優(yōu)秀的人工智能人才。從根本上說，我認(rèn)為，考慮到解決高級人工智能系統(tǒng)對齊的困難，需要來自世界各地的最好的頭腦。所以我真的希望中國的人工智能研究人員在這里做出巨大的貢獻(xiàn)。

需要非常不同的架構(gòu)使得AGI更安全

張宏江：關(guān)于GPT-4和AI安全的后續(xù)問題。我們是否有可能需要更改AGI模型的整個(gè)基礎(chǔ)架構(gòu)或整個(gè)體系結(jié)構(gòu)。為了讓它更安全，更容易被檢查.

Sam Altman：無論是從功能角度還是從安全角度來看，我們確實(shí)需要一些非常不同的架構(gòu)，這是完全可能的。

我認(rèn)為我們將能夠取得一些進(jìn)展，在解釋我們目前各種模型的能力方面取得良好進(jìn)展，并讓他們更好地向我們解釋他們在做什么以及為什么。但是，是的，如果在Transformer之后有另一個(gè)巨大的飛躍，我不會感到驚訝。自從最初的Transformer以來，我們已經(jīng)改變了很多架構(gòu)。

OpenAI開源的可能性

張宏江：我明白今天的論壇是關(guān)注AI安全的，因?yàn)槿藗儗penAI很好奇，所以我有很多關(guān)于OpenAI的問題，不僅僅是AI安全。我這里有一個(gè)觀眾的問題是，OpenAI有沒有計(jì)劃重新開源它的模型，就像在3.0版本之前那樣?我也認(rèn)為開源有利于AI安全。

Sam Altman：我們有些模型是開源的，有些不是，但隨著時(shí)間的推移，我認(rèn)為你應(yīng)該期待我們將來會繼續(xù)開源更多的模型。我沒有一個(gè)具體的模型或時(shí)間表，但這是我們目前正在討論的事情。

張宏江：BAAI將所有的努力都變成開源，包括模型和算法本身。我們相信，我們有這種需要，分享和給予，你一個(gè)他們在控制感知。請問你有類似的觀念嗎，或者在你的同齡人或OpenAI的同事中討論過這些話題。

Sam Altman：是的，我認(rèn)為開源在某種程度上確實(shí)有一個(gè)重要的作用。

最近也有很多新的開源模型出現(xiàn)。我認(rèn)為API模型也有一個(gè)重要的作用。它為我們提供了額外的安全控制。你可以阻止某些用途。你可以阻止某些類型的微調(diào)。如果某件事情不起作用，你可以收回它。在當(dāng)前模型的規(guī)模下，我不太擔(dān)心這個(gè)問題。但是隨著模型變得像我們期望的那樣強(qiáng)大，如果我們對此是正確的，我認(rèn)為開源一切可能不是最佳路徑，盡管有時(shí)候它是正確的。我認(rèn)為我們只需要仔細(xì)地平衡一下。

我們未來會有更多開源大模型，但沒有具體模型和時(shí)間表。

AGI的下一步方向？會很快看到GPT-5嗎？

張宏江：作為一個(gè)研究人員，我也很好奇，下一步的AGI研究方向是什么?在大模型、大語言模型方面，我們會不會很快看到GPT-5?下一個(gè)前沿是不是在具身模型上?自主機(jī)器人是不是OpenAI正在或者準(zhǔn)備探索的領(lǐng)域?

Sam Altman：我也很好奇下一步會發(fā)生什么，我最喜歡做這項(xiàng)工作的原因之一就是在研究的前沿，有很多令人興奮和驚訝的事情。我們還沒有答案，所以我們在探索很多可能的新范式。當(dāng)然，在某個(gè)時(shí)候，我們會嘗試做一個(gè)GPT-5模型，但不會是很快。我們不知道具體什么時(shí)候。我們在OpenAI剛開始的時(shí)候就做過機(jī)器人方面的工作，我們對此非常感興趣，但也遇到了一些困難。我希望有一天我們能夠回到這個(gè)領(lǐng)域。

張宏江：聽起來很棒。你在演講中也提到了你們是如何用GPT-4來解釋GPT-2的工作原理，從而使模型更安全的例子。這種方法是可擴(kuò)展的嗎?這種方向是不是OpenAI未來會繼續(xù)推進(jìn)的?

Sam Altman：我們會繼續(xù)推進(jìn)這個(gè)方向。

張宏江：那你認(rèn)為這種方法可以應(yīng)用到生物神經(jīng)元上嗎?因?yàn)槲覇栠@個(gè)問題的原因是，有一些生物學(xué)家和神經(jīng)科學(xué)家，他們想借鑒這個(gè)方法，在他們的領(lǐng)域里研究和探索人類神經(jīng)元是如何工作的。

Sam Altman：在人工神經(jīng)元上觀察發(fā)生了什么比在生物神經(jīng)元上容易得多。所以我認(rèn)為這種方法對于人工神經(jīng)網(wǎng)絡(luò)是有效的。我認(rèn)為使用更強(qiáng)大的模型來幫助我們理解其他模型的方法是可行的。但我不太確定你怎么把這個(gè)方法應(yīng)用到人類大腦上。

控制模型數(shù)量可行嗎

張宏江：好的，謝謝你。既然我們談到了AI安全和AGI控制，那么我們一直在討論的一個(gè)問題是，如果這個(gè)世界上只有三個(gè)模型，那么會不會更安全?這就像核控制一樣，你不想讓核武器擴(kuò)散。我們有這樣的條約，我們試圖控制能夠獲得這項(xiàng)技術(shù)的國家數(shù)量。那么控制模型數(shù)量是不是一個(gè)可行的方向?

Sam Altman：我認(rèn)為對于世界上有少數(shù)模型還是多數(shù)模型更安全，有不同的觀點(diǎn)。我認(rèn)為更重要的是，我們是否有一個(gè)系統(tǒng)，能夠讓任何一個(gè)強(qiáng)大的模型都經(jīng)過充分的安全測試?我們是否有一個(gè)框架，能夠讓任何一個(gè)創(chuàng)造出足夠強(qiáng)大的模型的人，既有資源，也有責(zé)任，來確保他們創(chuàng)造出的東西是安全和對齊的?

張宏江：昨天在這個(gè)會議上，MIT未來生命研究所的Max教授提到了一種可能的方法，就是類似于我們控制藥物開發(fā)的方式?？茖W(xué)家或者公司開發(fā)出新藥，你不能直接上市。你必須經(jīng)過這樣的測試過程。這是不是我們可以借鑒的?

Sam Altman：我絕對認(rèn)為，我們可以從不同行業(yè)發(fā)展出來的許可和測試框架中借鑒很多東西。但我認(rèn)為從根本上說，我們已經(jīng)有了一些可以奏效的方法。

張宏江：非常感謝你，Sam。謝謝你抽時(shí)間來參加這次會議，雖然是線上的。我相信還有很多問題，但考慮到時(shí)間，我們不得不到此為止。希望下次你有機(jī)會來中國，來北京，我們可以有更深入的討論。非常感謝你。