英偉達將用新的“LPU”芯片提升AI聊天機器人性能

英偉達將用新的“LPU”芯片提升AI聊天機器人性能
在GTC大會上，英偉達發布了Groq 3 LPU芯片，該芯片采用了AI公司Groq授權的技術。LPU是七款即將推出的數據中心芯片之一，旨在增強人工智能的能力。

為了提升聊天機器人性能，英偉達計劃推出一款新型處理器——LPU，專為運行大型語言模型（LLM）優化。
“Nvidia Groq 3 LPU”芯片是英偉達在年度GTC大會上推介的七款即將推出的芯片之一，該大會向人工智能行業介紹了為何英偉達芯片持續領先。
LPU，即語言處理單元（Language Processing Unit），源自英偉達去年12月與加州一家名為Groq的人工智能公司（不要與xAI的AI聊天機器人Grok混淆）的技術授權協議。Groq成立于2016年，推出了早期專為大型語言模型設計的LPU芯片，以實現更快的速度和能效。目標是：打造一款能替代英偉達企業級GPU的方案，使其能夠應用于更廣泛的AI工作負載。

英偉達現在希望將新發布的Groq 3 LPU與公司其他下一代AI芯片——被稱為“Vera Rubin”平臺——結合使用，其中包括即將推出的Rubin顯卡和Vera CPU技術，應用于數據中心。

Groq的LPU芯片使用更快的SRAM（靜態RAM），而非英偉達GPU通常采用的高帶寬內存（HBM）。但缺點是，Groq的LPU只能提供“數百兆字節”的SRAM，而HBM內存每顆芯片可覆蓋超過100GB甚至更多。

這也是為什么單個Groq 3 LPU僅包含500MB的SRAM，而英偉達即將推出的Rubin顯卡將配備288GB的HBM4內存。為了彌補較低的內存容量，英偉達正準備大量銷售LPU，以與其他數據中心芯片協同工作，為AI公司提供進一步提升性能的途徑。

英偉達指出：“配備256個LPU處理器的LPX機架配備了128GB的片上SRAM和640TB/s的可擴展帶寬。與Vera Rubin NVL72（服務器單元）一同部署，Rubin GPU和LPU通過聯合計算每個輸出令牌的AI模型每一層來提升解碼能力。”

因此，數據中心可以同時利用低功率單元和英偉達的GPU，將AI工作負載分配到它們之間，以提高效率。英偉達首席執行官黃仁森表示，這種聯合方法在幫助AI公司通過更長的提示提升性能方面表現出色。

根據英偉達的基準測試，LPU和Rubin顯卡結合起來，在運行擁有1萬億參數的大型語言模型時，吞吐量可提升多達35倍。

黃明明說：“我們正在生產Groq芯片，”并補充說它很可能會在第三季度發貨。英偉達已與三星簽約制造低功率處理器。一位分析師預計英偉達將在2026年和2027年期間出貨400萬到500萬個LPU。

新的LPU和Vera Rubin系統每顆芯片價格可能高達數萬美元，消費者難以負擔。相反，預計包括OpenAI、Anthropic和Meta在內的最大AI公司將采用這些技術，這些技術可能在不久的將來為你的聊天機器人查詢或圖像生成請求提供動力。

在GTC大會上，英偉達還提到了Vera Rubin，該公司此前曾詳細介紹過它，包括今年一月的CES展會上，公司宣布Rubin芯片已進入“全面生產”階段。英偉達計劃在今年下半年發布與Vera Rubin相關的芯片，包括新的LPU芯片。