![]()
始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在,歡迎加入共同成長。
浪潮信息AI團隊正式發布"源"Yuan-EB 2.0系列模型(Yuan-embedding-2.0,嵌入模型)。根據HuggingFace權威評測榜單MTEB和C-MTEB最新更新顯示,"源"Yuan-EB 2.0模型在檢索任務(Retrieval)與排序任務(Reranking)雙榜單中,斬獲"雙SOTA"的絕佳成績。中文模型在C-MTEB榜單檢索任務獲得81.76分、排序任務獲得77.94分;英文模型在MTEB榜單檢索任務獲得70.69分、排序任務獲得53.27分,展現了其在自然語言處理領域的強大能力。
尤其值得關注的是,"源"Yuan-EB 2.0模型僅以0.3B和0.6B的輕量級參數規模,全面超越眾多大參數量主流模型,樹立了"小參數、高性能、低開銷"的技術新標桿,為檢索增強生成(RAG)、語義搜索等應用落地提供了更優的技術方案。已上線始智AI-wisemodel開源社區,歡迎體驗。
![]()
模型地址
https://wisemodel.cn/models/IEIT-Yuan/Yuan-embedding-2.0-zh
https://wisemodel.cn/models/IEIT-Yuan/Yuan-embedding-2.0-en/file
01.
源Yuan-EB2.0斬獲
檢索與排序任務雙項第一
"源"Yuan-EB 2.0系列模型由浪潮信息自主研發,創新性地利用源大模型進行高質量訓練數據構建,通過強化型Reranker損失函數、多階段漸進式訓練方案、動態難負例挖掘等技術突破,顯著提升了模型在檢索與排序任務上的表現。作為RAG系統的核心組件,嵌入模型負責將文本轉換為向量形式,直接決定檢索的精準性和效率。"源"Yuan-EB 2.0模型包括中文和英文兩個模型,分別針對中英文語義特性進行深度優化,并在醫療、法律、金融、電商等垂直領域進行針對性訓練,確保模型在專業場景下的優異表現。
中文版本,C-MTEB榜單
C-MTEB(Chinese Massive Text Embedding Benchmark)是業界公認的中文Embedding模型權威評測基準,涵蓋Classification、Clustering、Pair Classification、Reranking、Retrieval、STS等六大任務類型,共35個公開數據集。Yuan-embedding-2.0-zh在Retrieval和Reranking任務上表現突出,分別以81.76分和77.94分的成績奪得雙料冠軍,全面超越業界主流大參數量模型,展現了卓越的中文語義理解與檢索能力。
![]()
英文版本:MTEB榜單
MTEB(Massive Text Embedding Benchmark)是全球最權威的多語言Embedding模型評測基準,涵蓋8大任務類型、58個數據集、112種語言。其中英文評測集作為最具競爭力的賽道,匯聚了全球頂尖Embedding模型。Yuan-embedding-2.0-en英文版本在該榜單中取得突破性成績,在Retrieval任務獲得70.69分、Reranking任務獲得53.27分,僅以0.6B的輕量級參數規模擊敗眾多大參數模型,充分證明了其技術創新的有效性和先進性。
![]()
02.
樹立“小參數、高性能、低開銷”技術新標桿
“源”Yuan-EB 2.0模型以輕量級的 0.3B 和 0.6B 參數規模,實現了對諸多大參數模型的性能反超,重新定義了“小參數、高性能、低開銷”的技術新標桿,其背后得益于研發團隊在技術架構與訓練方法上的多項原創性創新:
強化型Reranker損失函數
浪潮信息AI團隊設計了一種創新的強化型Reranker損失函數,通過三個自適應機制的協同作用,實現了訓練過程的智能化調節:
其中:
動態Margin機制:基于樣本得分方差自動調整優化目標,當模型對樣本區分度高時提升margin要求,反之則適當降低,實現因材施教的訓練效果;
難例加權策略:采用指數衰減函數自動識別并重點優化邊界樣本,將計算資源聚焦在真正有價值的難分樣本上,大幅提升訓練效率;
自適應溫度調節:根據正負樣本得分差距動態調整損失函數的陡峭程度,有效防止對簡單樣本的過擬合,增強模型泛化能力;
這種三位一體的設計使得損失函數能夠智能感知樣本特性并自動調整優化策略,顯著提升了Reranking任務的精排能力。該方法具有自動聚焦難樣本、避免過度擬合易樣本的優勢,訓練過程穩定、收斂快,同時對搜索、問答、對話等不同任務場景展現出強大的適應性。
多階段漸進式訓練
模型訓練采用精心設計的多階段漸進式方案:
大規模弱監督預訓練:利用海量配對數據進行對比學習,構建扎實的語義表征基礎;
高質量監督微調:基于人工標注的高質量數據集進行精細化訓練,提升模型在特定任務上的表現;
任務特定優化:針對Retrieval和Reranking任務分別設計優化策略,充分發揮模型在不同場景下的潛力;
動態難負例挖掘
浪潮信息AI團隊創新性地提出了動態難負例挖掘方法,在訓練過程中實時識別并利用高質量負樣本,能夠提供:
自動過濾偽負例,避免噪聲樣本對模型訓練的干擾;
動態調整負例難度,確保模型始終在最佳學習區間內訓練;
有效提升模型對細粒度語義差異的判別能力;
多語言深度優化
針對語言特性進行專項優化:
語義理解增強:針對中英文語言的詞語搭配、語法結構和語義關聯特點進行深度訓練,準確捕捉不同語言表達的細微語義差異;
多領域覆蓋:在通用領域和垂直行業場景中進行廣泛訓練,提升模型對不同領域文本的檢索和排序能力;
高效編碼與泛化:優化文本的向量表征效率,通過多樣化數據訓練增強模型在不同應用場景下的泛化能力,在保持高精度的同時提升檢索響應速度;
![]()
元腦企智EPAI平臺集成“源”Yuan-EB 2.0模型,加速知識庫構建與性能提升
目前,"源"Yuan-EB 2.0模型現已完成在元腦企智EPAI平臺的全面部署。針對智能搜索、RAG增強、智能客服等業務需求,企業用戶可直接在平臺上調用該模型,體驗低算力成本下的極致語義理解與精排效果。通過與元腦企智EPAI平臺多階段RAG檢索增強技術,實現企業私有數據、行業專業知識與通用知識的高效整合,攻克大模型知識時效性難題,為業務場景提供精準、專業的生成內容保障。
依托元腦企智EPAI平臺完整的工具鏈支持,企業無需深厚的技術技術積累即可快速搭建智能應用。"源"Yuan-EB 2.0模型優異的檢索與排序性能,配合平臺的一站式開發能力,使企業能夠以更低成本、更高效率構建專屬知識庫系統,切實釋放數據價值,全面提升企業的智能化水平。
----- END -----
![]()
wisemodel相關:
系列模型:
關于wisemodel更多
1
歡迎持續關注和支持
開源社區建設需要長期堅持和投入,更需要廣大用戶的積極參與、貢獻和維護,歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果,包括模型、數據集和代碼等發布到 wisemodel.cn 社區,共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信,申請加入wisemodel社群,持續關注wisemodel.cn開源社區動態。
2
歡迎加盟wisemodel開源社區
始智AI wisemodel社區自2023年9月上線以來,逐漸成為影響力日益擴大的中立開放的AI開源社區,為了加快公司發展,我們長期需要技術、運營等人才加盟,技術側重在AI infra、后端開發,熟悉K8S、模型訓練和推理等技術, 以及熟悉開發者生態運營的成員,歡迎感興趣的朋友加盟,可以通過添加wisemodel微信,或者將簡歷投遞到郵箱:liudaoquan@wisemodel.cn
3
歡迎投稿優質內容
歡迎投稿分享人工智能領域相關的優秀研究成果,鼓勵高校實驗室、大企業研究團隊、個人等,在wisemodel平臺上分享各類優質內容,可以是AI領域最新論文解讀、最新開源成果介紹,也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn,也可以掃碼添加wisemodel微信。
4
關于wisemodel開源社區
始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立,旨在打造和建設中立開放的AI開源創新社區,將打造成“HuggingFace”之外最活躍的AI開源社區,匯聚主要AI開源模型、數據集和代碼等,歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者,以及政府部門、學會協會、聯盟、基金會等,還有投資機構、科技媒體等,共同參與建設AI開源創新生態。
向上滑動查看
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.