突破“結構性失明”，SEAL攻克結構化長文檔檢索難題

始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在，歡迎加入共同成長。

在處理 HTML、Markdown 等長篇結構化文檔檢索時，現有方法常因忽略 h1、h2 等文檔結構標簽而面臨 “結構性失明（Structural Blindness）” 問題，為此本文提出了名為 SEAL 的全新對比學習框架，其核心方法包含兩部分：

一是結構感知學習（Structure-Aware Learning，SAL），通過對比含結構標簽與不含結構標簽的文檔幫助模型理解整體層級結構；二是元素感知對齊（Element-Aware Learning，EAL），通過隨機遮蔽部分元素的標簽迫使模型進行更細粒度的語義對齊。

實驗結果表明，SEAL 框架在多個基準模型上效果顯著，例如在 BGE-M3 模型上將 MRR@10 指標從 73.96% 提升至 77.84%，且其有效性已在真實線上 A/B 測試中得到驗證，這項研究的核心貢獻在于創新性地將文檔的宏觀層級結構與微觀元素語義同時融入統一的 Embedding 空間，大幅增強了預訓練語言模型對結構化數據的理解和表示能力，同時還發布了專門用于此類研究的長文本帶結構標注新數據集 StructDocRetrieval，填補了該領域的數據集空白。項目均已上線始智AI-wisemodel開源社區，歡迎體驗。

代碼和數據集地址

https://wisemodel.cn/codes/Rilzob/SEAL

https://wisemodel.cn/datasets/Rilzob/StructDocRetrieval/file

01.

結構化長文檔檢索中的常見挑戰

在日常工作和學習中，我們常常需要從篇幅浩繁的文檔中尋找特定信息，例如技術手冊、法律文書或研究報告。面對這些結構復雜的長文本，即便是先進的Embedding模型，也可能在信息檢索時表現不佳。

一個關鍵原因是，現有方法在處理結構化長文檔時，大多將其視為一長串無差別的純文本，忽略了標題、段落、列表等固有的結構信息。這種對文檔層次脈絡的“視而不見”，我們稱之為“結構性失明”（Structural Blindness），它限制了Embedding模型對文檔深層語義的理解能力。針對這一挑戰，我們提出了名為 SEAL (Structure and Element Aware Learning) 的對比學習框架，嘗試讓Embedding模型更好地理解和利用文檔的結構信息。

02.

SEAL框架的設計思路

該研究旨在解決長文檔檢索中的兩個具體問題：一是如何讓模型感知文檔的層次結構，二是如何促進用戶查詢與文檔內部具體元素之間的精準對齊。SEAL框架為此設計了兩種相輔相成的訓練策略。我們可以將其理解為對Embedding模型進行的兩項專門“輔導”。

1、結構感知學習（Structure-Aware Learning, SAL）—— 嘗試理解文檔的"骨架"

傳統的Embedding模型在讀取HTML等格式的文檔時，往往會剝離

等結構標簽。SAL的核心思路則有所不同。它在訓練時會向模型同時展示一份文檔的兩個版本：一個保留了結構標簽，另一個則去除了標簽。通過對比學習的任務，模型被鼓勵去發現，即使沒有明確的標簽，某些文本片段（如標題）的內容和位置也蘊含著其結構功能。通過這種方式，模型能夠逐步學習到文檔的內在"骨架"，區分不同部分的邏輯功能。

2、元素感知對齊（Element-Aware Alignment，EAL）—— 關注局部元素的語義角色

為了進一步提升模型對細節的把握，EAL策略引入了一種基于元素（如一個標題或一個段落）的Mask機制。在訓練中會按照固定比例隨機Mask文檔中的一小部分元素，然后要求模型判斷這份信息不完整的文檔是否與給定的Query相關。為了完成任務，模型必須更依賴文本內容本身以及周圍未被遮蓋的元素來推斷文檔的整體相關性。這個過程促使模型更深入地理解每個文本片段的語義角色及其在上下文中的作用。

實驗結果表明，這兩種訓練策略的結合能夠帶來積極效果。在BGE-M3模型上的測試顯示，應用SEAL框架后，衡量檢索排序質量的關鍵指標NDCG@10從73.96%提升至77.84%。這一數據表明，模型在將更相關的結果排在靠前位置的能力上有所增強。同時，線上A/B測試的結果也初步顯示了該方法在實際應用場景中的積極影響。

03.

為結構化文檔檢索提供新視角

SEAL框架的探索為信息檢索領域，特別是長文檔處理，提供了一個有益的視角。在學術層面，這項工作強調了在模型訓練中利用文檔原生結構的重要性，并提出了一種可行的技術路徑。同時，該團隊還發布了一個名為StructDocRetrieval 的新數據集，其中包含帶有結構標注的萬詞級別長文檔。這個資源的公開，為社區評估和開發面向長文檔的檢索模型提供了一個新的Benchmark，有望推動相關研究的進一步發展。

在應用層面，這種對結構信息的精細理解，有望為檢索增強生成（RAG）等下游任務提供更可靠的信息來源。例如，當AI助手需要從復雜的技術文檔中尋找答案時，對結構的理解能幫助它更準確地定位和引用信息。在企業知識庫、法律科技等專業領域，該方法也展現了其應用前景。

----- END -----

wisemodel相關：

系列模型：

關于wisemodel更多

1

歡迎持續關注和支持

開源社區建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果，包括模型、數據集和代碼等發布到 wisemodel.cn 社區，共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續關注wisemodel.cn開源社區動態。

2

歡迎加盟wisemodel開源社區

始智AI wisemodel社區自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區，為了加快公司發展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發者生態運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優質內容

歡迎投稿分享人工智能領域相關的優秀研究成果，鼓勵高校實驗室、大企業研究團隊、個人等，在wisemodel平臺上分享各類優質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區

始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立，旨在打造和建設中立開放的AI開源創新社區，將打造成“HuggingFace”之外最活躍的AI開源社區，匯聚主要AI開源模型、數據集和代碼等，歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者，以及政府部門、學會協會、聯盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創新生態。

向上滑動查看