Meta發(fā)布四款自研AI推理芯片，最高性能達10 petaflops

Meta Platforms公司今日宣布已設計出四款定制芯片，用于支持其內部人工智能工作負載。

該公司上次更新處理器開發(fā)進展是在2024年。當年4月，Meta發(fā)布了一款功耗為90瓦的定制AI加速器。而今天發(fā)布的四款加速器中最先進的一款熱設計功耗達到1700瓦。

Meta在2024年4月發(fā)布的定制芯片MTIA 200專門用于運行排序和推薦模型。這些神經(jīng)網(wǎng)絡幫助Meta決定在用戶信息流中顯示哪些帖子和廣告。

今天發(fā)布的第一款新芯片MTIA 300專注于相同的應用場景。該芯片在處理MX8格式數(shù)據(jù)時可提供1.2 petaflops的性能，配備216GB的HBM內存。

Meta工程師團隊在今日的博客文章中寫道："MTIA 300包含一個計算芯片、兩個網(wǎng)絡芯片和多個HBM堆棧。每個計算芯片包含一個處理單元網(wǎng)格，并配有一些冗余處理單元以提高良品率。"

MTIA 300是四款新發(fā)布芯片中唯一已在生產環(huán)境中部署的產品。其他三款處理器支持更廣泛的應用場景。除了排序和推薦工作負載外，它們還能運行生成式AI軟件，如大語言模型。

產品線中最先進的MTIA 500芯片在處理MX8數(shù)據(jù)時可提供10 petaflops的性能。它還支持更高效的MX4數(shù)據(jù)格式。這項技術減少了AI模型回答提示時需要分析的字節(jié)數(shù)，從而加快處理速度。

MTIA 500使用四個邏輯芯片進行計算。這些模塊被多個HBM內存堆棧環(huán)繞，總共可存儲高達516GB的數(shù)據(jù)，是MTIA 300的兩倍。該處理器的組件清單還包括一個SoC芯片，負責在主機服務器之間傳輸信息。

MTIA 500預計將于2027年投產，同時推出的還有功能相似但性能稍低的MTIA 450芯片。這兩款處理器都針對生成式AI推理工作負載進行了優(yōu)化。它們包含專門設計的電路，用于加速推理工作流程中特定的硬件密集型元素，如FlashAttention。這是一種流行的注意力機制實現(xiàn)方式，大語言模型用它來分析輸入數(shù)據(jù)。

Meta工程師寫道："在系統(tǒng)層面，MTIA 400、450和500都使用相同的機箱、機架和網(wǎng)絡基礎設施。因此，每一代新芯片都可以直接替換到相同的物理空間中，加速從硅片到生產部署的過渡。我們的模塊化、可重用設計還最大限度地減少了開發(fā)和部署多代芯片所需的資源。"

Meta使用定制編譯器為其MTIA芯片優(yōu)化AI模型。另一個定制軟件模塊Hoot集體通信庫管理處理器之間的數(shù)據(jù)流。它使用位于內存單元附近的晶體管執(zhí)行某些計算，減少數(shù)據(jù)傳輸時間，從而提升性能。

這些芯片的發(fā)布距離Meta同意從英偉達公司和超微半導體公司購買價值數(shù)十億美元的處理器不到一個月。大約同一時間，消息人士告訴The Information，這家Facebook母公司還計劃采用谷歌的TPU加速器。據(jù)報道，該公司將使用這些芯片來運行大語言模型。

Q&A

Q1：MTIA 500芯片有什么特殊性能？

A：MTIA 500是Meta最先進的AI芯片，在處理MX8數(shù)據(jù)時可提供10 petaflops的性能，還支持更高效的MX4數(shù)據(jù)格式。該芯片使用四個邏輯芯片進行計算，配備516GB的HBM內存，預計2027年投產。

Q2：Meta為什么要自研AI芯片？

A：Meta自研芯片主要用于支持內部人工智能工作負載，包括排序推薦模型和生成式AI軟件如大語言模型。通過定制芯片，Meta可以更好地優(yōu)化AI模型性能，減少對外部供應商的依賴。

Q3：MTIA芯片系列有哪些不同型號？

A：Meta發(fā)布了四款MTIA芯片：MTIA 200專門用于排序推薦，MTIA 300已投產并提供1.2 petaflops性能，MTIA 450和500都支持生成式AI推理，其中MTIA 500性能最強達10 petaflops。