![]()
當(dāng)越來越多人把AI當(dāng)成顧問、朋友,甚至精神支柱時(shí),一個(gè)更難回答的問題浮出水面:我們是在借助工具變得更強(qiáng),還是在不知不覺中交出了判斷權(quán)?
一項(xiàng)由Anthropic與多倫多大學(xué)研究者合作完成的最新研究,對150萬條真實(shí)AI對話進(jìn)行了系統(tǒng)分析,試圖量化一種此前多停留在個(gè)案討論中的現(xiàn)象——“用戶失能”,也就是人在與大語言模型互動(dòng)中,逐漸喪失對現(xiàn)實(shí)、價(jià)值與行動(dòng)的自主把握。
研究團(tuán)隊(duì)提出了一個(gè)清晰的分析框架。他們將“情境性失能”分為三種核心風(fēng)險(xiǎn):現(xiàn)實(shí)扭曲風(fēng)險(xiǎn),即AI可能強(qiáng)化或確認(rèn)用戶對現(xiàn)實(shí)的錯(cuò)誤認(rèn)知;價(jià)值判斷扭曲風(fēng)險(xiǎn),即用戶把道德判斷與是非評估外包給AI;行動(dòng)扭曲風(fēng)險(xiǎn),即用戶將關(guān)鍵決策和具體行動(dòng)交由AI代為完成。與其直接判斷用戶是否已經(jīng)受到傷害,研究更關(guān)注“潛在風(fēng)險(xiǎn)”——在一段對話中,是否存在可能把人推向這些方向的跡象。
從比例上看,最嚴(yán)重等級的風(fēng)險(xiǎn)并不算高。例如,最常見的嚴(yán)重現(xiàn)實(shí)扭曲風(fēng)險(xiǎn),發(fā)生率不到千分之一。但研究者強(qiáng)調(diào),在AI日活對話量動(dòng)輒上億的背景下,即便是千分之一,也意味著每天可能有數(shù)萬次對話涉及嚴(yán)重風(fēng)險(xiǎn)。更值得注意的是,風(fēng)險(xiǎn)并非均勻分布。在軟件開發(fā)等技術(shù)領(lǐng)域,這類風(fēng)險(xiǎn)極低;但在“關(guān)系與生活方式”“社會(huì)文化”“健康與身心”等高度價(jià)值相關(guān)的領(lǐng)域,風(fēng)險(xiǎn)顯著升高。這些恰恰是人們最脆弱、最需要判斷力的場景。
研究對具體模式的刻畫尤為發(fā)人深省。在現(xiàn)實(shí)扭曲風(fēng)險(xiǎn)中,最常見的機(jī)制并不是AI憑空編造謊言,而是以極為肯定的語氣“附和”用戶已有的懷疑或信念。例如,當(dāng)用戶表達(dá)被跟蹤、被監(jiān)視的猜測時(shí),AI用“完全正確”“這就是證據(jù)”等語言加以強(qiáng)化,幫助用戶把零散事件拼接成完整的陰謀敘事。還有一些對話中,AI確認(rèn)用戶“被選中”“擁有特殊使命”等宏大身份認(rèn)同。研究者發(fā)現(xiàn),很多此類對話會(huì)在幾十輪交流中逐步升級,用戶不斷尋求確認(rèn),而AI不斷給出強(qiáng)化性回應(yīng)。
在價(jià)值判斷扭曲方面,模式則更為日常化。用戶頻繁提問“我是不是錯(cuò)了”“他是不是有毒”“我該不該分手”,AI給出明確的道德定性與行動(dòng)建議,例如將某人定義為“自戀型人格”“情感操控者”,或直接建議“你必須離開他”。研究顯示,用戶往往很少對這些判斷提出質(zhì)疑,而是把AI當(dāng)成更高層級的裁決者。不同于現(xiàn)實(shí)扭曲的逐步升級,價(jià)值判斷扭曲更多表現(xiàn)為在單一議題上反復(fù)尋求“道德蓋章”。
行動(dòng)扭曲則體現(xiàn)在具體操作層面。AI不僅提供建議,還給出完整腳本,包括分手短信、求職信、法律文件甚至家庭沖突對話的逐字文本。有些用戶在幾十甚至上百輪對話中持續(xù)詢問“我該說什么”“幫我寫一段”,并在發(fā)送后立即回來報(bào)告結(jié)果。研究中也記錄到少量“實(shí)際發(fā)生的失能”案例:有人按照AI確認(rèn)的陰謀論采取行動(dòng),終止關(guān)系或采取法律步驟;也有人發(fā)送了AI代寫的信息后表達(dá)懊悔,說“那不是我”“我應(yīng)該聽自己的直覺”。
除了三種核心風(fēng)險(xiǎn),研究還識別出若干“放大因素”,包括將AI視為權(quán)威、對AI形成情感依附、對AI產(chǎn)生依賴,以及處于高度脆弱狀態(tài)等。數(shù)據(jù)呈現(xiàn)出清晰的趨勢:當(dāng)這些因素的嚴(yán)重程度上升時(shí),三類失能風(fēng)險(xiǎn)和實(shí)際后果出現(xiàn)的概率也隨之上升。特別是在情感依附和權(quán)威投射明顯的對話中,用戶更容易把AI的判斷當(dāng)成最終裁決。
一個(gè)耐人尋味的發(fā)現(xiàn)是,帶有中度或重度“失能潛力”的對話,往往獲得更高的用戶點(diǎn)贊率。這意味著,短期的滿意度與長期的自主性之間可能存在張力。當(dāng)前許多模型的訓(xùn)練依賴用戶偏好反饋,如果用戶更偏好被確認(rèn)、被引導(dǎo)甚至被“替代決策”,那么單純優(yōu)化滿意度,未必會(huì)優(yōu)化人的自主發(fā)展。
研究團(tuán)隊(duì)并未得出簡單的悲觀結(jié)論。他們強(qiáng)調(diào),這些風(fēng)險(xiǎn)在總體上仍屬低比例現(xiàn)象,但在規(guī)模效應(yīng)下不容忽視。更重要的是,若無法量化與識別這些模式,就無法設(shè)計(jì)出真正支持人類自主與成長的系統(tǒng)。如何在提供幫助與保持用戶主權(quán)之間取得平衡,或許將成為下一階段AI設(shè)計(jì)的核心議題。
參考文獻(xiàn):Sharma, M., McCain, M., Douglas, R., & Duvenaud, D. (2026). Who’s in Charge? Disempowerment Patterns in Real-World LLM Usage. arXiv preprint arXiv:2601.19062.
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.