“專家人設(shè)”反而讓 AI 變笨？研究實錘：一句“你是資深工程師”，代碼準(zhǔn)確率不升反降！

編譯 | 鄭麗媛

出品 | CSDN（ID：CSDNnews）

如果你也經(jīng)常這樣寫 Prompt——

“你是一位資深全棧工程師，請幫我寫一套生產(chǎn)級系統(tǒng)代碼……”

那這篇研究，可能會讓你重新審視自己的使用習(xí)慣。

一直以來，“給 AI 加人設(shè)”幾乎成了默認操作。從寫代碼、寫文檔，到做架構(gòu)設(shè)計，不少開發(fā)者都會在開頭先“鋪墊一句”，試圖把模型“催眠”成一個更專業(yè)的版本。但問題是：這種看似提升專業(yè)性的技巧，可能正在悄悄拉低結(jié)果質(zhì)量。

近日，一項來自美國南加州大學(xué)（USC）的最新研究，對這一做法給出了一個有些反直覺的結(jié)論：讓 AI 扮演“專家”，并不會讓它更擅長解決專業(yè)問題，反而在編程和數(shù)學(xué)任務(wù)上會明顯變差。（論文地址：https://arxiv.org/abs/2603.18507）

一項研究：為什么“專家人設(shè)”會翻車？

所謂“人設(shè)提示”（Persona-based Prompting），本質(zhì)上就是一種“角色扮演式”的 Prompt 技術(shù)。它的核心邏輯很簡單：通過一句身份設(shè)定，讓模型進入某種“工作狀態(tài)”。

這種方法在 2023 年開始被廣泛討論，并迅速在開發(fā)者社區(qū)流行開來。無論是教程、課程，還是各種 Prompt 模板，幾乎都會建議你這樣寫：

● “你是一位經(jīng)驗豐富的機器學(xué)習(xí)工程師……”

● “你是一名精通系統(tǒng)設(shè)計的架構(gòu)師……”

● “請以安全專家的視角分析以下問題……”

理論上來說，這種方法似乎很合理。畢竟模型是“語言驅(qū)動”的，那多給一點上下文，不就能讓它“更像專家”嗎？但來自南加州大學(xué)（USC）的研究人員在一篇論文中指出：

“人設(shè)提示是否有效，很大程度上要看任務(wù)類型。”

也就是說，并不是“加了人設(shè)就一定能變強”，而是“用對了才行”。具體來說，該研究團隊將任務(wù)大致分成兩類：

（1）一類是依賴“對齊能力”的任務(wù)，比如寫作、角色扮演、遵守規(guī)則、安全策略等。在這些場景中，模型需要的是“行為符合預(yù)期”，而不是絕對正確的答案。

（2）一類則是依賴“知識和推理能力”的任務(wù)，比如數(shù)學(xué)計算、代碼生成、事實問答。這些任務(wù)則更依賴模型在預(yù)訓(xùn)練階段學(xué)到的知識儲備。

基于這兩類任務(wù)，研究團隊得到的實驗結(jié)果為：在“人設(shè)提示”的加持下，第一類任務(wù)表現(xiàn)有所提升；但在第二類任務(wù)中，模型表現(xiàn)卻出現(xiàn)了系統(tǒng)性下降。

真正的問題：它在“演”，而不是在“算”

為了量化這種影響，研究人員使用了一個經(jīng)典評測基準(zhǔn)：MMLU（大規(guī)模多任務(wù)語言理解測試）。這個測試覆蓋多個學(xué)科，常被用來衡量大模型的綜合能力。

評測之后，結(jié)果非常直接：

● 不加“人設(shè)”：準(zhǔn)確率 71.6%

● 加“專家人設(shè)”：準(zhǔn)確率 68.0%

更重要的是，這種下降幾乎出現(xiàn)在所有學(xué)科類別中，而不僅僅是個別任務(wù)。這說明了一個問題：“人設(shè)提示”確實改變了模型的行為方式，但這種改變，并不總是好的。

對于這個結(jié)果，研究團隊給出的解釋非常耐人尋味：

“人設(shè)前綴可能激活了模型的‘指令執(zhí)行模式’，從而擠占了原本用于‘事實回憶’的能力。”

解釋一下，從模型機制來看，大語言模型本質(zhì)上是在做“概率生成”。當(dāng)你告訴它“你是一位專家”，它并不會獲得任何新的知識，也不會解鎖新的推理能力，但會進入一種更偏“指令執(zhí)行”和“角色模擬”的模式。而這，就帶來了一個微妙但關(guān)鍵的變化：原本用于“從預(yù)訓(xùn)練數(shù)據(jù)中檢索事實”的能力，被部分“擠占”了。

簡單來說，就是模型開始更關(guān)注“如何像專家說話”，而不是“答案本身是否正確”。這也是為什么在編程和數(shù)學(xué)任務(wù)中，“人設(shè)”反而成為了模型的負擔(dān)。

不過，雖然準(zhǔn)確性下降，但在人類更關(guān)心的“安全”和“規(guī)范”上，人設(shè)提示確實有明顯幫助。

例如，在安全性測試中引入一個類似“安全審查員（Safety Monitor）”的人設(shè)后，模型拒絕惡意請求的能力將明顯提升。其中在 JailbreakBench 測試中：原始模型拒絕率為53.2%，但加了“人設(shè)”后拒絕率提升 17.7 個百分點，變?yōu)?0.9%。

對開發(fā)者來說，有點“反直覺”的結(jié)論

基于以上發(fā)現(xiàn)，研究人員在論文中明確表示：

讓 AI 扮演“專家程序員”，不會提升代碼質(zhì)量或?qū)嵱眯浴?/blockquote>

這對很多開發(fā)者來說，可能是一個需要“糾正”的習(xí)慣。

因為在實際使用中，大量開發(fā)者的 Prompt 都包含類似話術(shù)： “你是 Google 級別的架構(gòu)專家” 、 “你擁有 20 年開發(fā)經(jīng)驗”……這些描述看似增強了“專業(yè)性”，實際上并沒有給模型帶來任何實質(zhì)性的能力提升。

不過研究也指出，雖然“泛化的人設(shè)”沒什么用，但具體、細粒度的約束卻是有效的。例如：

● 明確前端框架（React / Vue）

● 指定架構(gòu)模式（微服務(wù) / 單體）

● 限定工具鏈（Docker / Kubernetes）

● 描述代碼風(fēng)格、接口規(guī)范

因為本質(zhì)上來說，這些屬于“對齊信息”、“需求約束”，而不是“身份設(shè)定”，它們的作用是幫助模型更好地對齊你的目標(biāo)，而不是讓它“扮演某個人”。

一個更工程化的解法：PRISM

既然人設(shè)提示“有利有弊”，那有沒有辦法兩者兼顧呢？

針對這個問題，研究團隊提出了一種新的方法，叫做 PRISM（基于意圖的人設(shè)路由機制）。它的核心思想有點像“動態(tài)開關(guān)”：一般情況下保持原始模型，主要確保知識與準(zhǔn)確性，僅在需要時啟用“人設(shè)行為”。

在實現(xiàn)上，它借助了一種叫 LoRA（低秩適配）的技術(shù)，通過一個“門控機制”來自動判斷使用哪種模式。簡單來說，這就讓模型具備一種能力：該認真的時候就認真算，該演的時候再去演。

在論文的最后，研究人員總結(jié)了一條非常實用的經(jīng)驗法則：

● 當(dāng)你更關(guān)心“對齊”（安全、格式、規(guī)則）時→可以加人設(shè)，并具體描述要求；

● 當(dāng)你更關(guān)心“準(zhǔn)確性和事實”時→ 不要加任何設(shè)定，直接提問。

某種程度上來說，“你是一位專家”這句話，本質(zhì)上更像是寫給人看的，而不是寫給模型看的——它滿足的是人類對“專業(yè)感”的心理預(yù)期，卻未必真能提升結(jié)果質(zhì)量。

有時候，想讓模型輸出得更好，并不用讓它“更像人”，而是盡量別干擾它本就擅長的事情。

參考鏈接：https://www.theregister.com/2026/03/24/ai_models_persona_prompting/

110 萬美金懸賞！

AMD 2026 線上黑客松大賽來襲

從 MXFP4 MoE 算子爆改，到真實千倍并發(fā)下的吞吐量極限拉扯

不看資歷，只看絕對速度

挑戰(zhàn)DeepSeek?R1/KimiK2.5極致并發(fā)

入圍即能拿 1 萬美金