RAG AI測(cè)試：AMD 3D V-Cache比非X3D型號(hào)處理器性能高88%

IT之家 4 月 21 日消息，gigglehd 最新報(bào)告指出，在 RAG（檢索增強(qiáng)生成）AI 基準(zhǔn)測(cè)試中，相比較非 X3D 型號(hào)處理器，AMD 的 3D V-Cache 處理器性能最高可提升 88%。

IT之家注：RAG（檢索增強(qiáng)生成）是一種結(jié)合外部數(shù)據(jù)庫(kù)檢索與生成能力的 AI 架構(gòu)。傳統(tǒng)大語言模型依賴預(yù)訓(xùn)練數(shù)據(jù)，面對(duì)未知數(shù)據(jù)時(shí)存在局限。RAG 通過實(shí)時(shí)檢索外部知識(shí)庫(kù)，為模型提供精準(zhǔn)上下文，從而生成更準(zhǔn)確、詳盡的回答，廣泛應(yīng)用于企業(yè)知識(shí)庫(kù)與智能問答系統(tǒng)。

摩根士丹利采用開源 X3D RAG 基準(zhǔn)，模擬 10 萬至 20 萬向量規(guī)模的單節(jié)點(diǎn)場(chǎng)景。結(jié)果顯示，在 100K 批量搜索測(cè)試中，AMD Ryzen 3D V-Cache 處理器速度比非 X3D 芯片快 88%。

X3D RAG 是開源基準(zhǔn)測(cè)試工具，用于衡量 CPU 緩存和架構(gòu)如何影響本地 / 內(nèi)部 RAG 流水線中基于圖的向量搜索及相關(guān)階段。

在 200K 批量搜索中，Ryzen 7 9850X3D 性能較 Ryzen 7 9700X 提升超 50%，這顆 8 核處理器甚至超越了 16 核的 Ryzen 9 9950X。

在技術(shù)實(shí)現(xiàn)方面，該機(jī)構(gòu)認(rèn)為大容量緩存顯著優(yōu)化了 HNSW（分層可導(dǎo)航小世界）算法的圖檢索效率。在索引構(gòu)建測(cè)試中，100K 規(guī)模耗時(shí)縮短 50%，200K 規(guī)模縮短 39%，并發(fā) RAG 吞吐量測(cè)試同樣表現(xiàn)優(yōu)異。

參考