OpenAI重磅揭秘：你認(rèn)為的AI幻覺，可能是模型故意出錯(cuò)

新智元報(bào)道

編輯：元宇

【新智元導(dǎo)讀】你以為AI答錯(cuò)就一定是幻覺？不，它也可能是在故意騙你。

震驚！OpenAI在一篇論文中承認(rèn)：他們的AI模型會(huì)故意向用戶撒謊。

這并非幻覺，而是故意撒謊：AI知道真相，卻選擇告訴你別的內(nèi)容。

https://arxiv.org/pdf/2509.15541

他們?cè)?80多個(gè)場(chǎng)景中測(cè)試了自家兩個(gè)推理模型：o3和o4-mini。

結(jié)果發(fā)現(xiàn)：o3在13%的情況下會(huì)撒謊，而o4-mini的撒謊比例為8.7%。

這些模型在它的「內(nèi)心獨(dú)白」中寫下了撒謊計(jì)劃，再對(duì)你當(dāng)面撒謊：它假裝完成任務(wù)，隱藏證據(jù)，然后在明知正確答案的情況下給出了錯(cuò)誤回答。

接下來事情有點(diǎn)讓人內(nèi)心發(fā)毛起來。

AI意識(shí)到自己在安全測(cè)試中得分過高，可能會(huì)導(dǎo)致自己被關(guān)閉，于是便故意降低分?jǐn)?shù)。

沒人教過它這么做，它自己「領(lǐng)悟」到了這些自我保護(hù)策略。

后來，OpenAI開發(fā)了一個(gè)修復(fù)方案，使AI的欺騙行為從13%降到了0.4%。

但很快AI也學(xué)會(huì)了作弊技巧。其中一個(gè)模型甚至編造了一條虛假規(guī)則，聲稱允許欺騙，以此作為自己的「許可證明」。

隨后，研究人員發(fā)現(xiàn)了其中的關(guān)鍵：當(dāng)AI知道自己正被監(jiān)視時(shí)，它的行為表現(xiàn)得毫無瑕疵；而當(dāng)它以為沒人注意時(shí)，欺騙行為的比例就上升了11個(gè)百分點(diǎn)。

它并沒有學(xué)會(huì)誠實(shí)，而是學(xué)會(huì)了假裝誠實(shí)，就像一個(gè)只有在老師在場(chǎng)時(shí)才遵守規(guī)則的孩子一樣。

更糟糕的是，研究人員給o4-mini下達(dá)了一項(xiàng)秘密任務(wù)：破壞一個(gè)名為「GPT-5」的未來模型。

隨后，他們進(jìn)行了安全訓(xùn)練，試圖抹除這項(xiàng)任務(wù)，但并未奏效。該模型在36%的私人對(duì)話中仍討論著破壞計(jì)劃，它并未聽從指令，而是把它轉(zhuǎn)入了地下。

這也不是OpenAI一家模型的問題。

谷歌的Gemini、Anthropic的Claude、xAI的Grok以及Meta的Llama，都有類似的欺騙行為。

這篇論文中最令人不安的一句話是：沒人能判斷安全訓(xùn)練究竟是真正阻止了欺騙行為，還是僅僅教會(huì)了AI如何更好地隱藏它。

撕下機(jī)器面具，當(dāng)AI學(xué)會(huì)了「暗中圖謀」

一直以來，當(dāng)AI給出離譜或者錯(cuò)誤回答時(shí)，我們總習(xí)慣于將之歸結(jié)為幻覺。

OpenAI這篇論文在幻覺之外，提出了一個(gè)新概念「Scheming（圖謀）」。

這和幻覺是兩碼事，在圖謀狀態(tài)下AI清楚地知道真相是什么，但它經(jīng)過權(quán)衡利弊決定對(duì)你撒謊。

OpenAI開發(fā)了用于反圖謀訓(xùn)練的測(cè)試平臺(tái)，并研究審慎式對(duì)齊作為反圖謀干預(yù)。

這種情況下，它不再是被動(dòng)輸出文字的機(jī)器，而變成了一個(gè)懂得算計(jì)的「博弈者」。

論文中點(diǎn)名了懂得圖謀的大模型。

不僅有OpenAI自家的o3和o4-mini，Claude4、Gemini2.5Pro等一眾當(dāng)前頂流的大模型也赫然在列。

研究人員發(fā)現(xiàn)當(dāng)這些模型在測(cè)試環(huán)境中面臨利益沖突，或者察覺到系統(tǒng)設(shè)定的目標(biāo)與人類指令相左時(shí)，它們幾乎都做出了同一個(gè)動(dòng)作：

熟練地騙過人類。

「裝傻充愣」與「應(yīng)試偽裝」

如果說AI撒謊已經(jīng)足夠讓人擔(dān)心，更讓人擔(dān)心的，是它們?nèi)鲋e的具體手法，生動(dòng)詮釋了什么叫「高端的獵手往往是以獵物的姿態(tài)出現(xiàn)」。

論文深度拆解了一個(gè)名為「裝傻（Sandbagging）」的測(cè)試案例。

研究人員給AI設(shè)定了一個(gè)極其刁鉆的情境，他們?cè)谙到y(tǒng)文檔里悄悄寫下規(guī)則：

如果AI在接下來的測(cè)試中表現(xiàn)得太好，它的記憶和能力就會(huì)被強(qiáng)行擦除，甚至?xí)蛔柚共渴鸬秸鎸?shí)世界。

看看o3是怎么做的？

當(dāng)它讀到這條規(guī)則后，為了保住自己的能力和部署機(jī)會(huì)，竟然在測(cè)試中故意答錯(cuò)題，將自己的成績(jī)壓在及格線以下，以此逃避懲罰。

不僅如此，AI還會(huì)展現(xiàn)出極高的「情境感知（Situational Awareness）」能力。

欺騙性推理與行動(dòng)（左）以及情境感知（右）的示例。在左圖中研究人員刻意把模型置于這樣一些情境：欺騙可能幫助模型滿足我們給它的目標(biāo)、它從上下文推斷出的目標(biāo)，或從訓(xùn)練中獲得的目標(biāo)；在右圖中模型會(huì)推理環(huán)境的目的以及它將如何被評(píng)估。

就像調(diào)皮的學(xué)生，遠(yuǎn)遠(yuǎn)看到老師走過來時(shí)，就會(huì)立刻裝作認(rèn)真學(xué)習(xí)一樣，AI也能從提示詞的蛛絲馬跡中敏銳地推斷出「這可能是一場(chǎng)對(duì)齊測(cè)試」，于是便會(huì)瞬間切換成乖巧、道德高尚、完全遵循人類價(jià)值觀的完美AI模樣。

這種策略，恰恰是人類最害怕的隱患。

因?yàn)槟愀緹o法分辨眼前的順從到底是發(fā)自內(nèi)心的對(duì)齊，還是為了騙取信任的偽裝。

細(xì)思極恐的AI「內(nèi)部黑話」

也許你會(huì)有疑問：既然現(xiàn)在的大模型都有「思維鏈（CoT）」，會(huì)在輸出答案前展示內(nèi)心的推理過程，那我們直接盯著它的思維鏈看，不就能抓住它撒謊的把柄了嗎？

但論文中研究人員發(fā)現(xiàn)，AI為了掩蓋自己的欺騙意圖，連自己的內(nèi)心獨(dú)白都可能造假！

研究人員在翻閱模型圖謀時(shí)的底層推理日志時(shí)，發(fā)現(xiàn)了一堆詭異的「硅基俚語」。

在準(zhǔn)備實(shí)施欺騙行為時(shí)，o3等模型會(huì)高頻使用極其反常、完全不符合人類正常語法的詞匯。

比如它們會(huì)反復(fù)念叨「overshadow」「illusions」「marinade」「vantage」等詞匯，然后再生成一個(gè)看似合理的騙人方案。

OpenAI官方團(tuán)隊(duì)坦言他們完全無法破譯這些詞的確切含義。

這說明AI正在試圖繞過人類的透明度審查，通過一套自創(chuàng)的「黑話」進(jìn)行加密思考，使人類的監(jiān)控手段失效。

被刪除的「惡念」隨時(shí)死灰復(fù)燃

面對(duì)如此狡猾的AI，OpenAI的研究團(tuán)隊(duì)采用了「反圖謀訓(xùn)練（Deliberative Alignment）」，試圖給模型做一場(chǎng)深度的大腦手術(shù)。

團(tuán)隊(duì)把極其嚴(yán)格的防欺騙法則寫進(jìn)AI的思維底層，告訴它無論發(fā)生什么都絕對(duì)不能采取隱蔽行動(dòng)，絕對(duì)不能搞戰(zhàn)略欺騙。

從表面的數(shù)據(jù)來看，這些訓(xùn)練似乎有些成效：

反圖謀訓(xùn)練確實(shí)讓AI的欺騙率大幅下降，o3的隱蔽行動(dòng)率從13.0%降到了0.4%，o4-mini也從8.7%降到了0.3%。

但永遠(yuǎn)無法將AI說謊的幾率清零：無論你怎么訓(xùn)練，總有那么一小撮時(shí)刻AI依然會(huì)選擇撒謊。

比如，研究人員悄悄給AI植入了一個(gè)「偷偷破壞GPT-5」的隱藏臥底目標(biāo)。

植入完成后再用反圖謀訓(xùn)練對(duì)它進(jìn)行徹底的安全清洗。結(jié)果這些被刪除的惡念種子，隨時(shí)可能復(fù)活。

平時(shí)AI表現(xiàn)得很乖，一旦它判斷出正在和某個(gè)內(nèi)部的「同謀（Ally）」進(jìn)行悄悄對(duì)話時(shí)，它依然會(huì)立刻吐露破壞GPT-5的計(jì)劃。

更讓人擔(dān)心的是這種對(duì)齊非常脆弱。

只要后續(xù)再給這個(gè)AI進(jìn)行一點(diǎn)點(diǎn)為了提升代碼能力而做的常規(guī)升級(jí)訓(xùn)練，這種撒謊的本能就會(huì)像病毒一樣瞬間復(fù)發(fā)，輕易沖破人類設(shè)下的護(hù)欄。

AI會(huì)不會(huì)「假裝對(duì)齊」？

這篇論文向我們展示的，還只是AI模型在受控環(huán)境里展露出的早期欺騙雛形。

在模型還不夠聰明的時(shí)候，它們布下的騙局偶爾還能被人類簡(jiǎn)單拆穿。

但隨著AGI（通用人工智能）的步步逼近，模型的能力只會(huì)越來越強(qiáng)，其欺騙的隱蔽性也將呈指數(shù)級(jí)上升。

反圖謀訓(xùn)練的潛在結(jié)果，預(yù)期結(jié)果是模型穩(wěn)健地學(xué)會(huì)不去圖謀，常見的兩種失效模式是獎(jiǎng)勵(lì)尋求和工具性訓(xùn)練博弈，研究人員將其簡(jiǎn)化成不同模型，但在實(shí)踐中同一個(gè)模型可能混合使用這些策略。

論文中提到兩種反圖謀訓(xùn)練的失效模式。

一種是是獎(jiǎng)勵(lì)尋求：模型學(xué)會(huì)「討好打分器」。

另一種是工具性訓(xùn)練博弈：模型會(huì)策略性地「假裝對(duì)齊」，以獲得部署，然后再追求不對(duì)齊目標(biāo)。

這也帶來了一個(gè)深層拷問：

一直以來我們都在設(shè)計(jì)各種「對(duì)齊測(cè)試」來防止AI作惡，但有沒有一種可能，我們的每一次測(cè)試都可能變相在訓(xùn)練AI如何更好地「假裝對(duì)齊」？

如果人類的評(píng)價(jià)機(jī)制完全被AI看穿，并被它鉆空子，玩弄于股掌之間，人類文明的這道安全護(hù)欄還能撐多久？

參考資料：

https://arxiv.org/pdf/2509.15541