公眾號記得加星標??,第一時間看推送不會錯過。
多少高帶寬內(nèi)存(HBM)才夠用?對于 Meta 來說,答案顯然是大約 0.5 TB,這也是它今天發(fā)布的新型 AI 加速器之一計劃采用的 HBM 容量。
擁有 Facebook 和 Instagram 的Meta 公司今天宣布推出四款全新的 Meta 訓(xùn)練和推理加速器 (MTIA:Meta Training and Inference Accelerator) 產(chǎn)品線芯片。這些自主研發(fā)的芯片由 Meta 與合作伙伴博通 (Broadcom ) 共同開發(fā),旨在處理這家社交媒體巨頭的一系列計算密集型任務(wù),包括排名和推薦 (R&R) 訓(xùn)練和推理工作負載,以及訓(xùn)練基礎(chǔ) AI 模型并在推理模式下運行這些模型。
每款芯片都旨在加速處理特定任務(wù)。例如,新款 MTIA 300 包含兩個 RISC-V 內(nèi)核以及多個采用芯片組設(shè)計組裝的專用處理單元 (PE),專為 R&R 訓(xùn)練而設(shè)計。基于 MTIA 300 設(shè)計的 MTIA 400 則面向通用的元工作負載。MTIA 450 和 MTIA 500 是 MTIA 300 的升級版,它們引入了新的芯片組配置、更多的處理單元以及對新數(shù)據(jù)類型的支持,旨在應(yīng)對規(guī)模最大、最復(fù)雜的 AI 工作負載。
Meta特別注重提升內(nèi)存和處理器之間的數(shù)據(jù)傳輸速度,這通常是GenAI工作負載的瓶頸所在。MTIA配備了288GB HBM,HBM帶寬為9.2TB/s;而同樣擁有288GB HBM的MTIA 450,其內(nèi)存帶寬翻倍,達到18.4TB/s;MTIA 500則配備了384GB至512GB的HBM,內(nèi)存帶寬更是高達驚人的27.6TB/s。
![]()
計劃于 2027 年應(yīng)用于元數(shù)據(jù)中心的 MTIA 500 芯片,其 MX4(即 MXFP4,或微縮 4 位浮點運算)推理性能將達到 30 petaflops,而 MTIA 450 芯片的 MX4 推理性能為 21 petaflops。此外,MTIA 500 的熱設(shè)計功耗 (TDP) 為 1700 瓦,而 MTIA 450 和 MTIA 400 的 TDP 分別為 1400 瓦和 1200 瓦。
這些數(shù)據(jù)與英偉達及其即將推出的 Rubin GPU 相比毫不遜色。Rubin 將提供每秒 22 TB 的 HBM4 帶寬,比 Meta 聲稱其 MTIA 500 的帶寬低 5 TB/s。在性能方面,英偉達表示 Rubin 將提供 35 petaflops 的 NVP4 訓(xùn)練能力和 50 petaflops 的 NVP4 推理能力。NVFP4 是英偉達去年為 Blackwell 架構(gòu)推出的一種新的低精度數(shù)據(jù)類型,據(jù)稱它能提供更高的精度和更低的量化誤差,但代價是更高的復(fù)雜性和更低的壓縮率。
Meta公司表示,MTIA 400是其首款自主研發(fā)的芯片,旨在與市場上速度最快的AI加速器競爭。該公司在今天發(fā)布的一篇博文中寫道:“它結(jié)合了兩個計算芯片,使計算密度翻倍,并且還支持增強版的MX8和MX4,這兩種格式對于高效的GenAI推理至關(guān)重要,屬于低精度格式。一個機架包含72個MTIA 400設(shè)備,通過交換式背板連接,即可構(gòu)成一個單一的擴展域。”
該公司表示,MTIA 450 在 MTIA 400 的基礎(chǔ)上增加了內(nèi)存帶寬,MX4 容量增加了 75%,新增了用于注意力機制和前饋網(wǎng)絡(luò) (FFN) 計算的硬件加速功能,并且能夠有效地支持混合低精度計算。
![]()
MTIA 500 除了提供更高的原始 HBM 和內(nèi)存帶寬外,還進行了一些設(shè)計創(chuàng)新。例如,在 MTIA 500 中,Meta 將采用 2×2 配置,其中較小的計算芯片組“被多個 HBM 堆棧和兩個網(wǎng)絡(luò)芯片組以及一個提供 PCIe 連接到主機 CPU 和橫向擴展網(wǎng)卡的 SoC 芯片組所環(huán)繞”。
MTIA 400、450 和 500 均采用相同的機箱、機架和網(wǎng)絡(luò)基礎(chǔ)設(shè)施,這使得芯片升級變得極其便捷。“我們將加速器架構(gòu)設(shè)計為芯片組系統(tǒng)——這些獨立的、可重復(fù)使用的構(gòu)建模塊用于計算、I/O 和網(wǎng)絡(luò),”Meta 寫道。“由于每個芯片組都可以單獨升級,我們可以在幾個月內(nèi)而非幾年內(nèi)完成改進。此外,不同的芯片組可以在不同的工藝節(jié)點上制造,從而在滿足性能和功耗要求的同時,最大限度地降低成本。”
雖然 Meta 與 Broadcom 合作打造了自己的定制芯片,但它也是英偉達最大的客戶之一,多年來購買了數(shù)百萬塊英偉達 GPU,包括 Grace、Blackwell 和即將推出的 Rubin GPU。
https://www.hpcwire.com/2026/03/11/meta-packs-gobs-of-hbm-into-homegrown-ai-accelerators/
(來源:編譯自hpcwire)
*免責聲明:本文由作者原創(chuàng)。文章內(nèi)容系作者個人觀點,半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達一種不同的觀點,不代表半導(dǎo)體行業(yè)觀察對該觀點贊同或支持,如果有任何異議,歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。
今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4343內(nèi)容,歡迎關(guān)注。
加星標??第一時間看推送
求推薦
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.