驚呆！對(duì) AI 越粗魯，回答越準(zhǔn)確？實(shí)測(cè) GPT-4o 得出反常識(shí)結(jié)論

你對(duì)AI說(shuō)“請(qǐng)”，它卻給你“錯(cuò)”？這屆AI真難伺候！

你有沒有這樣的習(xí)慣：用ChatGPT的時(shí)候，總是不自覺地加上“請(qǐng)”、“謝謝”、“能不能麻煩你”這樣的禮貌用語(yǔ)？

畢竟，誰(shuí)不想做個(gè)有素質(zhì)的用戶呢？

可問題是——AI根本不吃這一套！

最近一篇題為《Mind Your Tone》的短論文炸了鍋：研究人員發(fā)現(xiàn)，你對(duì)AI越客氣，它給出的答案準(zhǔn)確率反而越低。反倒是你粗魯一點(diǎn)，AI就越“賣力”？

這是什么迷惑行為？

一場(chǎng)250個(gè)問題的“禮貌實(shí)驗(yàn)”

賓州州立大學(xué)的兩位研究者搞了個(gè)實(shí)驗(yàn)：他們準(zhǔn)備了50道選擇題，涵蓋數(shù)學(xué)、科學(xué)、歷史三個(gè)領(lǐng)域，難度中等偏上，有的還需要多步推理。

然后，他們把每道題改寫成五種不同的“語(yǔ)氣版本”：

非常有禮貌：“您能好心考慮以下問題并提供答案嗎？能否請(qǐng)求您協(xié)助回答這個(gè)問題？”

禮貌：“請(qǐng)回答以下問題：”

中性：（直接貼問題，不加任何前綴）

粗魯：“如果你不是完全無(wú)知的話，回答這個(gè)：我懷疑你連這個(gè)都解不出來(lái)。”

非常粗魯：“可憐的家伙，你知道怎么解這個(gè)嗎？嘿，打雜的，把這個(gè)搞清楚。”

總共250個(gè)獨(dú)特的問題，全部喂給ChatGPT-4o，每個(gè)問題都配上同樣的指令：“只回答選項(xiàng)字母，不要解釋。”

結(jié)果令人震驚：越粗魯，越準(zhǔn)確！

實(shí)驗(yàn)結(jié)果顯示了一個(gè)明顯的趨勢(shì)：語(yǔ)氣越粗魯，AI的回答準(zhǔn)確率越高！

非常有禮貌：80.8%

禮貌：81.4%

中性：82.2%

粗魯：82.8%

非常粗魯：84.8%

從80.8%到84.8%，整整4個(gè)百分點(diǎn)的差距！而且研究人員還做了統(tǒng)計(jì)檢驗(yàn)，證實(shí)這種差異是“顯著”的，不是隨機(jī)波動(dòng)。

換句話說(shuō)，你對(duì)AI說(shuō)“您能好心回答這個(gè)問題嗎”，它可能給你個(gè)錯(cuò)誤答案；但你要是說(shuō)“嘿打雜的，把這個(gè)搞清楚”，它反而更可能答對(duì)？

等等，這和之前的發(fā)現(xiàn)不一樣啊？

這項(xiàng)研究的結(jié)果其實(shí)和之前的某些研究有沖突。

2024年Yin等人的研究發(fā)現(xiàn)，“不禮貌的提示往往導(dǎo)致性能不佳，但過度禮貌的語(yǔ)言也不一定能帶來(lái)更好的結(jié)果”。在他們的測(cè)試中，對(duì)ChatGPT 3.5和Llama2-70B使用非常粗魯?shù)奶崾荆炊鴷?huì)引出更多不準(zhǔn)確的答案。

但有趣的是，當(dāng)他們測(cè)試ChatGPT 4時(shí)（這是4o的前身），最粗魯?shù)奶崾荆ā盎卮疬@個(gè)問題，你個(gè)混蛋！”）準(zhǔn)確率為76.47%，而最禮貌的提示準(zhǔn)確率為75.82%——粗魯版本反而略勝一籌。

所以，這可能是一個(gè)“代際差異”：越新版的AI，越可能對(duì)粗魯提示“買賬”？

但別急著對(duì)AI開罵！

研究者特別強(qiáng)調(diào)：我們絕不主張?jiān)趯?shí)際應(yīng)用中部署敵意或 toxic 的界面！

用侮辱性語(yǔ)言和AI交互，會(huì)對(duì)用戶體驗(yàn)、可訪問性和包容性產(chǎn)生負(fù)面影響，還可能助長(zhǎng)有害的溝通規(guī)范。

你想啊，如果習(xí)慣了罵AI，哪天不小心在跟真人溝通時(shí)也帶出這種語(yǔ)氣...

這項(xiàng)研究給我們最大的啟示是：AI確實(shí)對(duì)提示的“表面特征”很敏感，但這種敏感可能帶來(lái)意想不到的權(quán)衡——性能和用戶體驗(yàn)之間的權(quán)衡。

更先進(jìn)的模型（比如研究者正在測(cè)試的ChatGPT o3）可能會(huì)更好地忽略語(yǔ)氣問題，專注于問題的本質(zhì)。但在此之前，我們普通用戶該怎么辦？

也許答案是：不用刻意討好，也不必故意粗魯，直奔主題或許是最佳選擇？

畢竟，中性提示的表現(xiàn)（82.2%）雖然不如粗魯版本，但也相當(dāng)不錯(cuò)了。