句子級溯源+生成式歸因，C2-Cite重塑大模型可信度

在人工智能快速發(fā)展的今天,大語言模型已經(jīng)深入到我們工作和生活的方方面面。然而,如何讓AI生成的內(nèi)容更加可信、可追溯,一直是學術(shù)界和工業(yè)界關(guān)注的焦點問題。想象一下,當你向ChatGPT提問時,它不僅給出答案,還能像學術(shù)論文一樣標注每句話的信息來源——這就是"溯源大語言模型"要解決的核心問題。

北郵百家AI團隊聯(lián)合小米大模型團隊提出的溯源大模型C2-Cite，首創(chuàng)上下文感知的歸因生成技術(shù)，不僅能讓大模型在生成內(nèi)容時自動標注精準的信息來源，更能確保生成內(nèi)容與引用的外部知識高度語義對齊，實現(xiàn)每一處表述都有溯源依據(jù)、與參考來源深度協(xié)同，從根本上解決大模型生成內(nèi)容的可信度問題。該工作已被國際頂級會議WSDM 2026收錄。C2-Cite針對現(xiàn)有歸因模型存在的關(guān)鍵缺陷,通過引入"上下文感知"機制,讓引用標記從被動的占位符轉(zhuǎn)變?yōu)閹в猩舷挛恼Z義的特殊令牌,顯著提升了引用質(zhì)量和模型回答準確性。

• 論文標題：
  

C2-Cite:Contextual-Aware Citation Generation for Attributed Large Language Models

• 論文鏈接：
  

https://github.com/BAI-LAB/c2cite/blob/main/paper_wsdm_c2cite.pdf

• 代碼倉庫：
  

https://github.com/BAI-LAB/c2cite

引言

在信息爆炸的時代,大語言模型雖然能夠生成流暢的文本,但"幻覺"問題(即生成虛假或不準確的內(nèi)容)始終困擾著研究者。為了增強模型輸出的可信度,研究人員提出了歸因技術(shù)——在生成內(nèi)容中添加明確的引用標記(如[1]、[2]),將每句話鏈接到具體的信息源。然而現(xiàn)有歸因模型存在顯著缺陷：

1.技術(shù)路徑存在固有局限：上下文學習歸因（P-ICL/I-ICL）依賴提示工程或迭代檢索，耗時且泛化性弱；指令微調(diào)歸因過度依賴高質(zhì)量訓(xùn)練數(shù)據(jù)，缺乏對引用上下文的主動關(guān)聯(lián)，大大削弱大模型的溯源能力；事后歸因（Post-Hoc）采用兩階段處理，難以精確到句子級別，缺乏內(nèi)在歸因能力。

2.引用標記淪為“通用占位符”：現(xiàn)有模型未賦予引用標記（如 [i]）上下文語義，僅將其視為無意義符號，導(dǎo)致引用與所指內(nèi)容脫節(jié)、知識整合效果差；

3.引用質(zhì)量與回答準確性失衡：部分模型雖能提升引用精準度，但會破壞回答的語義連貫性和正確性；另一部分模型則因引用混亂，難以支撐回答可信度；

這些問題導(dǎo)致現(xiàn)有模型要么引用錯誤/ 虛構(gòu)、溯源失效，要么回答邏輯斷裂、準確性下滑，難以同時滿足 “引用可信” 與 “回答有效” 的核心需求。

C2-Cite溯源機制

為解決上述缺陷，北郵百家AI團隊聯(lián)合小米提出上下文感知的溯源大模型框架（C2-Cite），核心思路是通過“上下文語義融入” 讓引用標記從被動占位符轉(zhuǎn)變?yōu)閹в忻鞔_語義指向的主動知識指針，具體包含三大關(guān)鍵組件：

1.上下文感知嵌入機制（Contextual-Aware Embedding）：將多令牌引用標記（如“[i]”）標準化為單一引用符號令牌（如“?>”），并通過均值池化計算對應(yīng)檢索文檔的語義嵌入，替換傳統(tǒng)無意義占位符嵌入，使引用標記攜帶所指文檔的語義信息；

2.上下文引用對齊機制Contextual Citation Alignment：引入引用路由器（二進制分類器）區(qū)分默認令牌與引用令牌，分別優(yōu)化兩類令牌的損失函數(shù)—— 默認令牌采用交叉熵損失保證回答流暢性，引用令牌通過語義相似度匹配實現(xiàn)與檢索文檔的精準對齊；

3.上下文注意力增強機制：通過距離衰減系數(shù)和注意力約束，放大后續(xù)生成令牌對先前引用令牌的關(guān)注度，維持引用與內(nèi)容的語義連貫性，避免因引用插入導(dǎo)致回答邏輯斷裂。

模型最終損失函數(shù)為默認損失、引用對齊損失、路由器損失與注意力增強損失的加權(quán)和，確保引用質(zhì)量與回答準確性的協(xié)同優(yōu)化。

實驗

研究團隊在ALCE基準測試的三個數(shù)據(jù)集(ASQA、ELI5、QAMPARI)上進行了全面評估,對比了多種主流歸因方法

3.1 主實驗結(jié)果

實驗結(jié)果令人振奮:

• 引用質(zhì)量大幅提升:C2-Cite++在引用F1分數(shù)上平均提升5.8%
• 回答準確性顯著增強:在回答正確性指標上平均提升17.4%
• 泛化能力強：在不同質(zhì)量的訓(xùn)練數(shù)據(jù)（SynSciQA 系列）上均表現(xiàn)穩(wěn)定，即使使用普通訓(xùn)練數(shù)據(jù)也能超越依賴高質(zhì)量數(shù)據(jù)的傳統(tǒng)微調(diào)模型。

3.2 效率分析

在保證效果的同時,C2-Cite++還展現(xiàn)出卓越的計算效率。吞吐量(每秒處理樣本數(shù))測試顯示,相比需要多輪迭代的方法(如Blueprint),C2-Cite++實現(xiàn)了最高的處理速度,在實際應(yīng)用中具有明顯優(yōu)勢。

3.3溯源生成模型中注意力模式的轉(zhuǎn)變

注意力熱力圖可視化，直觀展示了C2-Cite的工作機制。在原生LLM中,引用符號前后的句子幾乎沒有交互;而在C2-Cite中,后續(xù)句子對前文的注意力顯著增強,形成了緊密的語義連接。這種"跨引用的語義橋梁"正是模型生成高質(zhì)量溯源內(nèi)容的關(guān)鍵。

總結(jié)

C2-Cite框架通過"上下文感知"這一核心理念,成功解決了現(xiàn)有歸因大語言模型的關(guān)鍵痛點:

• 從符號到語義:將引用標記從被動占位符轉(zhuǎn)化為主動知識指針
• 精準對齊：通過路由機制確保引用編號與文檔內(nèi)容的準確匹配
• 語義連貫：利用注意力增強保持引用前后內(nèi)容的流暢性
• 雙重優(yōu)化:同時提升引用質(zhì)量和回答準確性,而非顧此失彼

最后，僅僅優(yōu)化訓(xùn)練數(shù)據(jù)是不夠的,大模型的溯源能力需設(shè)計有效的學習機制。相比于復(fù)雜的數(shù)據(jù)合成流程,C2-Cite通過其"上下文感知"的設(shè)計思想,在內(nèi)容生成的過程依賴可靠的引用知識庫，為構(gòu)建更加可靠、透明的AI溯源系統(tǒng)提供了重要的技術(shù)路徑。