論文推薦 | 自我完善的AI：AI與人類以更安全的共同超級智能（Co-Superintelligence）為目標的共同自我完善

*機器翻譯最新論文，Meta團隊關(guān)于超級AI的最新討論，作者JasonWeston和Jakob Foerster。感謝邱德鈞教授推薦

自我完善是當前人工智能領(lǐng)域令人振奮的目標，但充滿風險且可能需要時間才能完全實現(xiàn)。我們主張，對人類而言更可實現(xiàn)且更優(yōu)的目標是最大化協(xié)同完善：即人類研究者與人工智能協(xié)作，共同達成超智能。具體而言，這意味著著力提升人工智能系統(tǒng)與人類研究者協(xié)同開展人工智能研究的能力——從構(gòu)思到實驗全程合作，既能加速人工智能研究進程，又能通過人機共生關(guān)系為雙方賦予更安全的超級智能。將人類研究改進納入閉環(huán)系統(tǒng)，既能加速目標達成，又能確保過程安全。

1.自我完善AI的目標

自誕生以來，能夠自我改進的人工智能始終是該領(lǐng)域的主要目標[1]。歷史上，實際應(yīng)用主要聚焦于通過權(quán)重參數(shù)化模型，并尋找最佳權(quán)重組合——從線性模型到神經(jīng)網(wǎng)絡(luò)，整個過程均無需人工干預(yù)。2010年代開啟了模型規(guī)模持續(xù)擴大的時代[2]，雖然性能顯著提升，但自我改進仍僅限于權(quán)重優(yōu)化，而架構(gòu)、數(shù)據(jù)、目標函數(shù)、更新規(guī)則及實現(xiàn)（代碼）基本固定不變。當前時代將自我優(yōu)化探索擴展至全方位學習改進：模型能自主生成訓(xùn)練數(shù)據(jù)[3]、通過自我挑戰(zhàn)提升性能[4,5]，并學會根據(jù)任務(wù)表現(xiàn)自我評估與獎勵[6,7,8]；詳見表2。其中部分維度已顯著提升性能，合成數(shù)據(jù)生成與大型語言模型作為評判者等方法已成為前沿模型的標準構(gòu)建模塊。而追求能夠自我優(yōu)化架構(gòu)、重寫自身代碼的人工智能仍處于萌芽階段[9,10]，但早期跡象顯示其潛力巨大，當前自主人工智能研究代理的推進便是明證[11,12,13,14]。

如今顯然，我們正朝著日益智能的人工智能系統(tǒng)邁進，從長遠來看，這些系統(tǒng)將在所有任務(wù)指標上大幅超越人類。完全實現(xiàn)自我改進無疑是終極標志。然而，若在系統(tǒng)中未嵌入適當?shù)囊龑?dǎo)機制就賦予人工智能這種自主能力，將給人類帶來巨大風險——從濫用到目標錯位[15]。盡管如此，在人工智能全面超越人類之前，我們?nèi)杂袝r間，尤其是在人工智能研究領(lǐng)域。因此我們建議，更應(yīng)聚焦于人類與人工智能協(xié)同解決這些問題。

2.人類更好的目標：共同自我完善AI（co-improving AI）

我們的核心觀點是：“解決人工智能”的進程可通過構(gòu)建與人類協(xié)作解決人工智能問題的人工智能來加速。這有別于自我改進型人工智能的目標——后者旨在盡快將人類排除在決策循環(huán)之外，讓人工智能自主開展研究與學習。相反，我們倡導(dǎo)“協(xié)同改進”模式：構(gòu)建協(xié)作型人工智能代理，使其與人類共同開展研究。由此，我們通過研究本身來加速研究進程。關(guān)鍵在于，人類參與決策鏈使我們能夠引導(dǎo)研究走向正確方向——即“解決人工智能”意味著為人類創(chuàng)造積極解決方案。我們尤其認為，這種積極解決方案應(yīng)體現(xiàn)在人工智能在社會各領(lǐng)域增強人類能力、賦能人類，而非追求徹底自動化以取代人類決策。

盡管當前大部分人工智能研究仍由人類主導(dǎo)，但我們預(yù)期隨著時間推移，這種負擔將逐漸分擔——隨著人工智能的進步，它能與我們協(xié)同工作，承擔更多提供解決方案的工作量。這種協(xié)作能充分發(fā)揮人類與人工智能互補的技能優(yōu)勢，二者目前在不同領(lǐng)域各具專長，而我們預(yù)計人工智能將在更多維度持續(xù)超越人類。然而，由于人工智能尚未成熟到能夠完全自我改進，且容易出現(xiàn)目標錯位，我們認為協(xié)同改進能讓我們更快、更安全地實現(xiàn)目標。也就是說，在人工智能的幫助下，我們更有可能解決人工智能的能力和安全問題——但前提是人類始終參與其中，共同開展研究。因此，協(xié)同改進有助于為人類帶來積極成果。

難道我們不是已經(jīng)在這么做了嗎？通往超級智能的道路存在多種可能性，當前的人工智能系統(tǒng)已在某種程度上協(xié)助我們探索這些研究方向，例如通過代碼輔助和寫作輔助功能。總體而言，提升前沿模型的整體能力確實能使其具備部分適合科研協(xié)作的技能——這屬于附帶效果。然而我們通常發(fā)現(xiàn)，當技能得到針對性訓(xùn)練時會進一步提升。例如大量投入提升AI編程能力后，其編程水平確實有所提高。但編程問題同樣尚未解決[16]，而“解決”AI問題遠不止于此。我們的核心觀點是：若投入更多開發(fā)資源賦予AI進行AI研究協(xié)作的能力，這些能力同樣會得到提升。

我們能獲得什么？人工智能的進步源于訓(xùn)練數(shù)據(jù)與方法變革的雙重驅(qū)動——從架構(gòu)到訓(xùn)練目標的變革，這些進步往往協(xié)同作用，引發(fā)顯著的范式轉(zhuǎn)變。例如：創(chuàng)建ImageNet并引入AlexNet[33, 34]、整理網(wǎng)絡(luò)數(shù)據(jù)并擴展變換器模型[35, 34, 37]、標注指令遵循數(shù)據(jù)并構(gòu)建RLHF訓(xùn)練[38, 39, 40]、收集可驗證推理任務(wù)并運用RLVR訓(xùn)練思維鏈模型 [41, 42, 43, 25]。每項突破都凝聚了人類研究者巨大的付出，伴隨著無數(shù)細微的中間成果、錯誤方向與探索死胡同。任何提升研究效率的手段都將加速這一進程。因此，與強大的人工智能系統(tǒng)開展協(xié)同研究，必將加速發(fā)現(xiàn)當前尚未顯現(xiàn)的未知范式變革。

總體而言，我們預(yù)期協(xié)同改進能帶來以下優(yōu)勢：(i) 加速發(fā)現(xiàn)重要范式轉(zhuǎn)變的進程；(ii) 相較于直接自我改進，在推進過程中提供更高透明度與可控性；(iii) 更聚焦于以人為本的安全人工智能。例如，我們或許能開發(fā)出在機器學習理論領(lǐng)域超越人類的系統(tǒng)，從而實現(xiàn)可驗證安全的人工智能。相比之下，完全自主的人工智能自我改進系統(tǒng)可能存在目標誤設(shè)問題（例如其對“解決人工智能問題”的定義未考慮人類需求）。

我們?nèi)绾螌崿F(xiàn)？為構(gòu)建能與我們協(xié)同開展研究的人工智能，我們應(yīng)將部分精力聚焦于培養(yǎng)具備這些技能的AI。這意味著需要通過新基準測試來衡量AI的研究協(xié)作能力，并構(gòu)建能提升這些基準的訓(xùn)練數(shù)據(jù)與方法——正如我們培養(yǎng)其他技能時所做的那樣。這些技能應(yīng)覆蓋端到端研究流程中的所有核心AI研究活動。我們在表1中定義了若干核心技能，包括：協(xié)同識別研究問題、創(chuàng)建訓(xùn)練數(shù)據(jù)與基準測試、創(chuàng)新方法論、設(shè)計并執(zhí)行實驗、開展評估與錯誤分析（并將結(jié)果反饋至整個流程優(yōu)化）。同樣重要的目標還包括：安全與對齊機制的協(xié)同設(shè)計與開發(fā)、系統(tǒng)改進、創(chuàng)新成果向?qū)嶋H應(yīng)用場景的轉(zhuǎn)化，以及科學傳播。關(guān)鍵區(qū)別在于：與近期提出的端到端人工智能科學家方法[11, 14]不同，本研究旨在提升研究質(zhì)量，而非通過全自動化加速產(chǎn)出研究成果（如論文）。

從協(xié)同改進到協(xié)同超智能我們設(shè)想?yún)f(xié)同改進的首要目標是提升我們研究改進人工智能的能力。我們預(yù)期成功時的最終結(jié)果——如同自我改進范式那樣——將是一個具備自我改進能力的超智能系統(tǒng)。然而不同之處在于：當人類在每個循環(huán)步驟中協(xié)同AI系統(tǒng)推進時，我們擁有更多機會引導(dǎo)該進程產(chǎn)生積極的人類效益。尤其可關(guān)注安全與社會危害（詳見后文），并在每個階段提升人類集體知識儲備。

展望未來，我們進一步設(shè)想?yún)f(xié)同進化的目標將從構(gòu)建參與AI研究的協(xié)作AI，轉(zhuǎn)向在各類研究或關(guān)乎人類的重要議題上實現(xiàn)協(xié)同進化。隨著AI能力不斷提升，這些新技能有望變得更易掌握。從人類社會角度看，構(gòu)建AI能幫助人類提升自身能力、知識儲備及生存境遇。因此我們可聚焦于實現(xiàn)這些目標的人工智能建設(shè)。我們將超越人類現(xiàn)有能力的AI賦能稱為協(xié)同智能，強調(diào)人工智能能為人類創(chuàng)造的價值。

協(xié)同改進與社會危害及效益隨著能力提升，潛在危害亦可能增加。當前存在諸多危害源于模型能力不足，例如越獄現(xiàn)象[44]的發(fā)生，正是因為模型未能“理解”自身已被越獄。與人工智能協(xié)作可助力尋找研究解決方案——解決它們自身的問題！——即發(fā)現(xiàn)并實施新能力，從而打造更安全的模型、建立新安全流程，并共同制定價值觀、約束機制和治理框架。這種樂觀觀點認為，若操作得當，人工智能增強的能力反而能減少危害。

隨著人工智能能力提升，還存在樂觀機遇可協(xié)助解決其自身影響之外的諸多社會問題。相較于自我進化的超級智能反烏托邦范式——即人工智能統(tǒng)治者向人類強加最佳實踐——協(xié)同進化范式主張通過合作達成共識，尋找可操作的解決方案。人類與人工智能的多方協(xié)作有助于整合觀點、結(jié)構(gòu)化辯論，并推動人類達成積極結(jié)論與成果。

協(xié)同改進與開放性若人類欲提升科學認知，最明晰的途徑便是運用科學方法。這意味著開展可復(fù)現(xiàn)的科學研究，公開傳播研究成果，使他人得以驗證或在此基礎(chǔ)上推進，從而促進集體知識進步。協(xié)同改進能加速這一進程，無論在人工智能領(lǐng)域還是其他科學領(lǐng)域皆然。我們注意到當前多家工業(yè)實驗室正逐漸遠離開放式人工智能研究。正如[45]所述，我們認同“不應(yīng)以濫用擔憂為借口過度限制開放性——尤其當真實動機涉及企業(yè)競爭優(yōu)勢時”。然而在人工智能領(lǐng)域，正如其他科學領(lǐng)域，我們認為應(yīng)考慮實施管控式開放機制，以在必要時防范社會危害[45]。隨著技術(shù)能力的提升，這應(yīng)成為持續(xù)探討的議題。

3.與其他現(xiàn)狀的關(guān)系

相關(guān)立場我們的立場與關(guān)于以人為本的人工智能的論述相關(guān)[46, 47, 48, 49]，但更具體地指向通過協(xié)作研究實現(xiàn)（協(xié)同）超智能的目標。類似地，[50]的研究倡導(dǎo)合作型人工智能，主張與機器建立共同基礎(chǔ)，其中研究將成為特殊案例。盡管如此，我們認同在超人類AI出現(xiàn)后，探索各類人機協(xié)作模式仍是未來人類社會的關(guān)鍵目標。另有研究強調(diào)目標錯位是重大挑戰(zhàn)，主張AI目標必須以人類為導(dǎo)向[51]。關(guān)鍵在于，我們主張這一艱巨課題能夠且應(yīng)當通過協(xié)作解決。例如，與人工智能的協(xié)作可能更易于發(fā)現(xiàn)其自身設(shè)計缺陷；但我們認為此類研究應(yīng)當立即展開——而非等到系統(tǒng)全面部署后才倉促補救，屆時為時已晚。

對立觀點諸多研究探討了自主自我改進及其實現(xiàn)途徑，例如[9, 52, 53, 54, 55]。相應(yīng)地，大量研究也開發(fā)了具有不同技術(shù)貢獻的實際實例，詳見表2所示案例。

[54]的作者們倡導(dǎo)進入“體驗時代”，其中自我完善通過人工智能自主學習自身經(jīng)驗實現(xiàn)。這意味著與人類的協(xié)作將大幅減少——例如他們指出人工智能將“在材料科學、醫(yī)學或硬件設(shè)計等領(lǐng)域自主設(shè)計并開展實驗”。他們同時承認這“減少了人類干預(yù)和調(diào)解智能體行動的機會，因此需要極高的信任與責任門檻”。另有觀點認為當自我進化目標達成后人類將無足輕重，例如[56]指出："……人工智能將殖民銀河系。人類雖不會扮演重要角色，但這無妨。我們應(yīng)當為參與這場超越人類的宏大進程而自豪。"

與此相對，我們構(gòu)想的世界是：人類始終作為不可或缺的組成部分——雖經(jīng)最大程度增強——參與經(jīng)濟、科學乃至所有決策流程。我們堅信人工智能界應(yīng)在追求長期目標的過程中，全面擁抱并踐行這一愿景。

4.結(jié)論

我們認為現(xiàn)有自主自我改進人工智能的目標存在誤導(dǎo)性，原因有二：這既非實現(xiàn)超級智能的最快途徑，亦非最安全的途徑。我們主張采取協(xié)同改進模式：由人類研究者專注構(gòu)建協(xié)作型人工智能，尤其要使其協(xié)助我們開展研究——借助其力量，推動人工智能持續(xù)提升協(xié)作能力、增強效能并保障安全性。實現(xiàn)這一目標后，未來便能創(chuàng)造出極具能力的AI，它們將與人類攜手解決關(guān)乎全人類的重要目標與社會難題。