![]()
Meta Platforms公司今日宣布已設計出四款定制芯片,用于支持其內部人工智能工作負載。
該公司上次更新處理器開發(fā)進展是在2024年。當年4月,Meta發(fā)布了一款功耗為90瓦的定制AI加速器。而今天發(fā)布的四款加速器中最先進的一款熱設計功耗達到1700瓦。
Meta在2024年4月發(fā)布的定制芯片MTIA 200專門用于運行排序和推薦模型。這些神經(jīng)網(wǎng)絡幫助Meta決定在用戶信息流中顯示哪些帖子和廣告。
今天發(fā)布的第一款新芯片MTIA 300專注于相同的應用場景。該芯片在處理MX8格式數(shù)據(jù)時可提供1.2 petaflops的性能,配備216GB的HBM內存。
Meta工程師團隊在今日的博客文章中寫道:"MTIA 300包含一個計算芯片、兩個網(wǎng)絡芯片和多個HBM堆棧。每個計算芯片包含一個處理單元網(wǎng)格,并配有一些冗余處理單元以提高良品率。"
MTIA 300是四款新發(fā)布芯片中唯一已在生產環(huán)境中部署的產品。其他三款處理器支持更廣泛的應用場景。除了排序和推薦工作負載外,它們還能運行生成式AI軟件,如大語言模型。
產品線中最先進的MTIA 500芯片在處理MX8數(shù)據(jù)時可提供10 petaflops的性能。它還支持更高效的MX4數(shù)據(jù)格式。這項技術減少了AI模型回答提示時需要分析的字節(jié)數(shù),從而加快處理速度。
MTIA 500使用四個邏輯芯片進行計算。這些模塊被多個HBM內存堆棧環(huán)繞,總共可存儲高達516GB的數(shù)據(jù),是MTIA 300的兩倍。該處理器的組件清單還包括一個SoC芯片,負責在主機服務器之間傳輸信息。
MTIA 500預計將于2027年投產,同時推出的還有功能相似但性能稍低的MTIA 450芯片。這兩款處理器都針對生成式AI推理工作負載進行了優(yōu)化。它們包含專門設計的電路,用于加速推理工作流程中特定的硬件密集型元素,如FlashAttention。這是一種流行的注意力機制實現(xiàn)方式,大語言模型用它來分析輸入數(shù)據(jù)。
Meta工程師寫道:"在系統(tǒng)層面,MTIA 400、450和500都使用相同的機箱、機架和網(wǎng)絡基礎設施。因此,每一代新芯片都可以直接替換到相同的物理空間中,加速從硅片到生產部署的過渡。我們的模塊化、可重用設計還最大限度地減少了開發(fā)和部署多代芯片所需的資源。"
Meta使用定制編譯器為其MTIA芯片優(yōu)化AI模型。另一個定制軟件模塊Hoot集體通信庫管理處理器之間的數(shù)據(jù)流。它使用位于內存單元附近的晶體管執(zhí)行某些計算,減少數(shù)據(jù)傳輸時間,從而提升性能。
這些芯片的發(fā)布距離Meta同意從英偉達公司和超微半導體公司購買價值數(shù)十億美元的處理器不到一個月。大約同一時間,消息人士告訴The Information,這家Facebook母公司還計劃采用谷歌的TPU加速器。據(jù)報道,該公司將使用這些芯片來運行大語言模型。
Q&A
Q1:MTIA 500芯片有什么特殊性能?
A:MTIA 500是Meta最先進的AI芯片,在處理MX8數(shù)據(jù)時可提供10 petaflops的性能,還支持更高效的MX4數(shù)據(jù)格式。該芯片使用四個邏輯芯片進行計算,配備516GB的HBM內存,預計2027年投產。
Q2:Meta為什么要自研AI芯片?
A:Meta自研芯片主要用于支持內部人工智能工作負載,包括排序推薦模型和生成式AI軟件如大語言模型。通過定制芯片,Meta可以更好地優(yōu)化AI模型性能,減少對外部供應商的依賴。
Q3:MTIA芯片系列有哪些不同型號?
A:Meta發(fā)布了四款MTIA芯片:MTIA 200專門用于排序推薦,MTIA 300已投產并提供1.2 petaflops性能,MTIA 450和500都支持生成式AI推理,其中MTIA 500性能最強達10 petaflops。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.