AI計算迎來重大變革，英偉達押注的“推理”是什么？

圖1：黃仁勛開始發力推理芯片

鳳凰網科技訊 北京時間3月17日，據《華爾街日報》報道，AI領域正在經歷一場重大變革，這對大大小小的科技公司都影響深遠。

過去五年間，AI領域的主要焦點一直是大語言模型的訓練。這是一個成本高昂的過程，需要數萬塊芯片、消耗巨大的能源，且在偏遠的大型數據中心進行。這一訓練過程需要使用數千個專業微處理器芯片組成的集群，將數十億條信息(如詞語定義、歷史事實、財務統計數據、貓咪照片等)輸入模型。芯片集群每周7天、每天24小時運行，持續數周甚至數月之久。

從訓練到推理

如今，隨著越來越多的公司部署AI智能體，并試圖將基于大語言模型構建的新工具商業化，焦點已轉向推理：這種計算方式能讓訓練好的AI模型響應用戶的查詢。

根據研究機構Gartner的數據，今年全球在推理基礎設施(包括芯片、數據中心和網絡硬件)上的資本支出，預計將首次超過訓練資本支出。到2029年，企業在推理上的投入將達到720億美元，是訓練投入370億美元的近兩倍。

推理支出將超過訓練

這一轉變意味著，科技公司購買的芯片類型將發生重大變化。英偉達之所以成為全球市值最高的公司，靠的是銷售名為GPU的芯片，這類芯片具備模型訓練所需的原始處理能力。但喬治城大學研究AI的學者雅各布·菲爾德戈伊斯(Jacob Feldgoise)表示，那些預期將進行更多推理工作的公司，可以通過使用專門為推理任務優化的芯片來獲得性能提升。

專門生產推理芯片的制造商包括谷歌、Cerebras Systems、SambaNova等，他們正以越來越快的速度簽下價值數十億美元的訂單。英偉達則準備推出自己的推理專用處理器，此前該公司于去年12月斥資200億美元，獲得了定制推理芯片公司Groq的技術授權并吸納其頂尖人才。

那么，究竟什么是推理計算？它與訓練所需的計算有何不同？為什么需求如此迅速轉向推理？這對市場又意味著什么？

推理計算的原理

你可以把AI想象成一家餐廳。模型就是那位廚師。在經過一段時間的密集培訓，學習了數百乃至數十億個食譜和烹飪技巧后，它就可以開始接單了。

推理就是這家餐廳的日常運營。食客下單（通常以向聊天機器人提問的形式），廚師備餐（聊天機器人生成回應）。

推理的原理

推理包含兩個階段，即預填充和解碼。當用戶輸入提示詞時，預填充階段開始，模型通過處理其中的每個單詞、符號或圖像來解讀用戶的查詢。

解碼則是模型運用其在訓練中學到的一切，生成查詢響應的過程。

推理的這兩個階段對芯片有著不同的要求：預填充階段需要更強的處理能力，而解碼階段則需要更大的內存，部分原因在于它必須調動所積累的全部知識，才能為用戶呈上新鮮出爐的“詞元”(token)。

什么是詞元？

詞元是用于處理查詢并生成響應的基本數據單位。

雖然不同類型的數據對應的換算范圍有所不同，但通常認為一個詞元大約相當于四分之三個英文單詞。以“今天天氣怎么樣？”這樣簡單的聊天機器人查詢為例，模型會將其解析為六到八個詞元。

詞元

模型通常逐次生成一個詞元，并且必須按正確的順序輸出每個詞元，這樣才能保證回答通順合理。

目前，那些正試圖將AI工具變現的公司，從會計軟件、旅行預訂服務到圖像生成器，都癡迷于諸如“每瓦每秒生成的詞元數”或“每美元每秒生成的詞元數”這類成本指標。

芯片制造商格芯的CEO蒂姆·布林(Tim Breen)表示，這使得推理芯片高效輸出結果的能力變得尤為重要，“如今，降低推理成本才是關鍵所在”。

訓練與推理芯片的區別

由于訓練需要在長時間內處理海量數據，所采用的芯片必須具備強大的處理能力，且芯片所在的數據中心必須能夠獲得充足的能源以及用于冷卻芯片的水。訓練同樣需要內存，但如果GPU內存不足，可以將部分處理任務分派給其他芯片，或者等待現有內存釋放。

相比之下，推理過程是按需進行的，耗時以秒計，而非數周?！俺^十秒鐘，用戶就已經開始用大拇指敲手機屏幕，準備去做下一件事了。”芯片設計公司SambaNova的CEO羅德里戈·梁(Rodrigo Liang)表示。

因此，推理芯片必須配備更大容量的高帶寬內存，且其所在的數據中心必須鄰近用戶聚集區以降低延遲。像Ayar Labs這樣的芯片創業公司也越來越多地采用光纖連接組件，光纖的數據傳輸速度比銅纜更快，且所需冷卻更少。

Ayar Labs CEO馬克·韋德(Mark Wade)表示：“如今，一切都圍繞著推理規?；归_。”(作者/簫雨)

更多一手新聞，歡迎下載鳳凰新聞客戶端訂閱鳳凰網科技。想看深度報道，請微信搜索“鳳凰網科技”。