IT之家 4 月 21 日消息,gigglehd 最新報(bào)告指出,在 RAG(檢索增強(qiáng)生成)AI 基準(zhǔn)測(cè)試中,相比較非 X3D 型號(hào)處理器,AMD 的 3D V-Cache 處理器性能最高可提升 88%。
IT之家注:RAG(檢索增強(qiáng)生成)是一種結(jié)合外部數(shù)據(jù)庫(kù)檢索與生成能力的 AI 架構(gòu)。傳統(tǒng)大語言模型依賴預(yù)訓(xùn)練數(shù)據(jù),面對(duì)未知數(shù)據(jù)時(shí)存在局限。RAG 通過實(shí)時(shí)檢索外部知識(shí)庫(kù),為模型提供精準(zhǔn)上下文,從而生成更準(zhǔn)確、詳盡的回答,廣泛應(yīng)用于企業(yè)知識(shí)庫(kù)與智能問答系統(tǒng)。
![]()
摩根士丹利采用開源 X3D RAG 基準(zhǔn),模擬 10 萬至 20 萬向量規(guī)模的單節(jié)點(diǎn)場(chǎng)景。結(jié)果顯示,在 100K 批量搜索測(cè)試中,AMD Ryzen 3D V-Cache 處理器速度比非 X3D 芯片快 88%。
![]()
X3D RAG 是開源基準(zhǔn)測(cè)試工具,用于衡量 CPU 緩存和架構(gòu)如何影響本地 / 內(nèi)部 RAG 流水線中基于圖的向量搜索及相關(guān)階段。
![]()
![]()
在 200K 批量搜索中,Ryzen 7 9850X3D 性能較 Ryzen 7 9700X 提升超 50%,這顆 8 核處理器甚至超越了 16 核的 Ryzen 9 9950X。
![]()
![]()
![]()
在技術(shù)實(shí)現(xiàn)方面,該機(jī)構(gòu)認(rèn)為大容量緩存顯著優(yōu)化了 HNSW(分層可導(dǎo)航小世界)算法的圖檢索效率。在索引構(gòu)建測(cè)試中,100K 規(guī)模耗時(shí)縮短 50%,200K 規(guī)模縮短 39%,并發(fā) RAG 吞吐量測(cè)試同樣表現(xiàn)優(yōu)異。
![]()
![]()
![]()
參考
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.