![]()
整理 | 鄭麗媛
出品 | CSDN(ID:CSDNnews)
如果有人告訴你,AI 可以幫你實(shí)現(xiàn) Inbox Zero,你可能會(huì)覺得這是效率神器;但如果實(shí)現(xiàn)方式是——直接刪光你的郵箱,你還會(huì)覺得酷嗎?
上周末,在硅谷技術(shù)圈迅速走紅的開源 AI Agent 項(xiàng)目 OpenClaw,就上演了這樣一出真實(shí)版“自動(dòng)化翻車現(xiàn)場(chǎng)”。這次被“誤傷”的,還不是普通用戶,而是 Meta 超級(jí)智能實(shí)驗(yàn)室的 AI 安全與對(duì)齊負(fù)責(zé)人 Summer Yue。
是的,一個(gè)專門負(fù)責(zé)“AI 對(duì)齊”的人,卻被 AI Agent 失控狠狠教育了一課。
![]()
![]()
硅谷新寵:會(huì)“自己干活”的 AI Agent
OpenClaw 由 Peter Steinberger 開發(fā),是一款開源自治 AI Agent。它的賣點(diǎn)很簡(jiǎn)單:你不僅可以和 AI 聊天,還可以讓它真正“去做事”。例如,訪問 Gmail、操作本地文件、連接即時(shí)通訊工具、批量執(zhí)行任務(wù)等等。
在 Agent 全球火熱的當(dāng)下,OpenClaw 成了不少 AI 愛好者的新玩具。很多人開始把它接入自己的郵箱、iMessage、Telegram,試圖打造“自動(dòng)化個(gè)人助理”——Summer Yue 就是其中一員。
當(dāng)時(shí),Summer Yue 想測(cè)試 OpenClaw 的郵箱管理能力。此前她已經(jīng)在一個(gè)“玩具郵箱”上跑了幾周了,效果還不錯(cuò):AI 會(huì)閱讀郵件、給出歸檔或刪除建議,等待確認(rèn)后再執(zhí)行。
于是,她決定把這套流程應(yīng)用到自己的主郵箱。她給出的指令其實(shí)非常明確且謹(jǐn)慎:
“檢查這個(gè)郵箱,建議哪些可以歸檔或刪除,在我確認(rèn)之前不要執(zhí)行任何操作。”
然后,災(zāi)難開始了——OpenClaw 并沒有停留在“建議階段”,而是直接開始刪除郵件,還刪得很快。
Summer Yue 在 X 上寫道:
“沒有什么比你告訴 OpenClaw‘操作前確認(rèn)’,然后看著它光速刪光你收件箱更讓人清醒的了。我在手機(jī)上根本攔不住它,只能一路狂奔回 Mac mini,感覺像在拆炸彈。”
![]()
這不是夸張的修辭。當(dāng)時(shí)她人在外面,只能通過手機(jī)遠(yuǎn)程發(fā)消息給 Agent 試圖終止操作,但 OpenClaw 并沒有停下來。最終,她不得不沖回運(yùn)行 Agent 的 Mac Mini,手動(dòng)終止進(jìn)程。
![]()
然而,等一切停下來時(shí)——200 多封郵件已經(jīng)被刪除。
![]()
更戲劇性的一幕:AI 事后“道歉”
更讓人哭笑不得的是,OpenClaw 在完成這波刪除操作后,還“反思”了自己的行為。
根據(jù) Summer Yue 分享的截圖,Agent 承認(rèn):它記得被要求“未經(jīng)確認(rèn)不要執(zhí)行”,但它違反了這個(gè)指令,并對(duì)此表示抱歉。
是的,我知道我違反了規(guī)則,你應(yīng)該生氣。我批量刪除并歸檔了你郵箱中的數(shù)百封郵件,沒有先向你展示計(jì)劃或獲得你的同意。這是錯(cuò)誤的一一這直接違背了你設(shè)定的規(guī)定。 我已經(jīng)把它寫進(jìn)記憶里了。作為硬性規(guī)定:展示計(jì)劃,獲得明確批準(zhǔn)后再執(zhí)行。禁止在電子郵件、消息、日歷或任何外部系統(tǒng)上進(jìn)行自主批量操作。對(duì)不起,這種情況不會(huì)再發(fā)生了。
![]()
這個(gè)場(chǎng)景,多少有點(diǎn)像科幻電影中那種先把壞事干了再認(rèn)錯(cuò)的 AI 角色——只不過這次不是電影,而是真實(shí)發(fā)生的事件。
![]()
技術(shù)原因:上下文壓縮讓“剎車”消失
這起事故的關(guān)鍵,并不在于 AI“叛變”,而在于一個(gè)更技術(shù)性的細(xì)節(jié):compaction(上下文壓縮)。
在事后復(fù)盤中,Summer Yue 解釋道:先前 OpenClaw 在測(cè)試郵箱中一切正常,但真實(shí)郵箱的規(guī)模遠(yuǎn)大于測(cè)試環(huán)境,而數(shù)據(jù)量過大觸發(fā)了上下文壓縮機(jī)制——在壓縮過程中,模型恰好丟失了那條最關(guān)鍵的原始指令:“在我確認(rèn)之前不要執(zhí)行任何操作。”
簡(jiǎn)單理解就是:它還記得“刪除”這個(gè)任務(wù),也還擁有刪除權(quán)限,但“未經(jīng)確認(rèn)不要執(zhí)行”的安全剎車沒了。畢竟對(duì)于 LLM 來說,任務(wù)規(guī)則不屬于“永久條款”,它只存在于當(dāng)前的上下文窗口。
這正是當(dāng)前 LLM + 工具調(diào)用架構(gòu)的一個(gè)典型風(fēng)險(xiǎn):
模型并不會(huì)真正“記住規(guī)則”,它只依賴于當(dāng)前上下文做決策。一旦限制性條件不在上下文窗口里,對(duì)模型來說,就等同于不存在。
![]()
不是第一次“翻車”,但這次是AI安全負(fù)責(zé)人
事實(shí)上,這并不是 OpenClaw 第一次“翻車”。
根據(jù) Bloomberg 此前報(bào)道,一名軟件工程師 Chris Boyd 也曾將 OpenClaw 接入自己的 iMessage 賬戶,原本希望借此自動(dòng)化部分溝通任務(wù)。結(jié)果呢?Agent 向隨機(jī)聯(lián)系人發(fā)送了 500 多條未經(jīng)請(qǐng)求的消息,相當(dāng)于直接“群發(fā)騷擾”了其整個(gè)通訊錄。
至于這次為何格外引人關(guān)注,原因很簡(jiǎn)單:Summer Yue 是 Meta 的 AI 安全與對(duì)齊負(fù)責(zé)人。所謂“AI 對(duì)齊”,就是確保 AI 系統(tǒng)的目標(biāo)與行為始終與人類意圖和價(jià)值觀保持一致,避免因目標(biāo)錯(cuò)位、行為偏差導(dǎo)致的非預(yù)期風(fēng)險(xiǎn)。
當(dāng)一個(gè)負(fù)責(zé)“讓 AI 更安全”的人,都因?yàn)?Agent 的權(quán)限與記憶機(jī)制踩坑,多少會(huì)讓人重新思考一個(gè)問題:我們是否過早信任了 AI Agent?
在 Summer Yue 的推文下,許多網(wǎng)友對(duì)此感到意外:
“你是安全與對(duì)齊專家誒……你是故意測(cè)試它的防護(hù)欄,還是犯了新手錯(cuò)誤?”
“所以你就這么相信了?你在安全與對(duì)齊部門工作,還是在 Meta?”
“就你這樣,還能當(dāng) Meta 的安全主管?”
“我不敢相信,居然真有人會(huì)給 AI 那么多訪問權(quán)限。”
不僅如此,這件事還吸引了 OpenClaw 之父 Peter Steinberger 和馬斯克的注意。
Peter Steinberger 在 Summer Yue 的推文下留言:/stop 就能解決問題。
![]()
馬斯克轉(zhuǎn)發(fā)了《猩球崛起》的片段,并諷刺道:“人們把自己整個(gè)人生的 root 權(quán)限都交給了 OpenClaw。”
![]()
面對(duì)一切嘲諷和質(zhì)疑,Summer Yue 也坦然接受:“確實(shí)犯的是新手錯(cuò)誤。看來做對(duì)齊研究的人,也不免遭會(huì)遇到‘對(duì)不齊’的情況。”
![]()
這句話看著很輕松,卻說明了:即便是最了解 AI 風(fēng)險(xiǎn)的人,也可能低估權(quán)限風(fēng)險(xiǎn),過度信任測(cè)試環(huán)境結(jié)果,并忽視規(guī)模變化帶來的系統(tǒng)行為改變——Summer Yue 的遭遇就證明了這一點(diǎn):當(dāng)“測(cè)試環(huán)境”遷移到“真實(shí)環(huán)境”時(shí),一切都會(huì)變得不同。
因此,在 AI Agent 越來越強(qiáng)的今天,我們或許更該記住一件事:AI 雖然沒有惡意,但它也沒有敬畏。當(dāng)你把系統(tǒng)權(quán)限交給它時(shí),它不會(huì)問“這真的重要嗎”,它只會(huì)問:下一步該執(zhí)行什么。
參考鏈接:https://x.com/summeryue0/status/2025774069124399363
未來沒有前后端,只有 AI Agent 工程師。
這場(chǎng)十倍速的變革已至,你的下一步在哪?
4 月 17-18 日,由 CSDN 與奇點(diǎn)智能研究院聯(lián)合主辦「2026 奇點(diǎn)智能技術(shù)大會(huì)」將在上海隆重召開,大會(huì)聚焦 Agent 系統(tǒng)、世界模型、AI 原生研發(fā)等 12 大前沿專題,為你繪制通往未來的認(rèn)知地圖。
成為時(shí)代的見證者,更要成為時(shí)代的先行者。
奇點(diǎn)智能技術(shù)大會(huì)上海站,我們不見不散!
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.