中國工程院院士鄭緯民：從模型服務走向詞元服務，是智能體時代對基礎設施的必然要求

4月15日，由北電數智主辦的第二屆酒仙橋論壇在京啟幕。

《每日經濟新聞》記者在現場注意到，會上，中國工程院院士、清華大學計算機科學與技術系教授鄭緯民提出，我國Token（詞元）消耗在兩年間增長了千倍。

然而，當前的AI算力基礎設施還無法高效生產Token；實際Token產能受限于系統優化不足，陷入高耗能、低產出的困局。

圖片來源：每經記者 楊卉攝

在鄭緯民看來，AI競賽的核心標準正在從MaaS（模型即服務）向TaaS（Token即服務）躍遷。未來還需推動Token服務向標準化、分層化與可調度化轉變，按業務目標對產能進行分層定價與調度。不能將所有負載壓在最昂貴的GPU（圖形處理器）資源上，需將大模型參數合理分配至不同的計算資源上，實現計算、緩存、狀態保存與數據搬運的職能分離與各歸其位，將可用計算資源池大幅擴大，將異構設備都用起來，通過優化底層架構來實現智能服務的高效、低成本生產。

“當前AI算力基礎設施無法高效生產詞元”

鄭緯民提到，前幾年大家還都在做大模型，去年開始，風口轉到了Token。Token究竟是什么？

鄭緯民解釋稱，Token介于硬件與應用之間，是AI處理信息的最小語義單元。如“人工智能很強大”這句話，會被分成“人工”“智能”“很”“強大”四個Token。

“你和AI的每一句輸入對話、AI生成的每一段輸出內容，都用Token來計量信息的處理量。”鄭緯民稱。此外，Token還是計算量的映射，是AI運行時算力消耗的基本計量單位，更是AI運行的計價單位。

鄭緯民稱，Token越來越重要的背后，是AI使用方式發生變化的事實。

據他介紹，在生成式AI時代，計算的消耗主要用于輸入、輸出式的單詞請求。到了智能體時代，智能體需要自行圍繞目標持續執行鏈路，實際消耗的Token數量遠超預期?，甚至達到“100倍”級別的膨脹。鄭緯民還強調，一旦未來新的智能水平出現，Token的消耗還可能會達到新的水平。

鄭緯民稱，我國Token消耗已經從2024年的日均千億漲到了如今的140萬億Token/天，兩年增長了千倍。然而，隨著Token消耗大增，新的問題開始出現：當前的AI算力基礎設施還無法高效生產Token；基礎設施主要服務于大模型訓練，而非實際應用中的持續性服務；實際Token產能受限于系統優化不足，陷入高耗能、低產出的困局。

在鄭緯民看來，單純將開源模型和開源推理框架做靜態堆疊，缺乏物理硬件層面的深度優化與系統級調度，昂貴算力就會在鏈路中的各類瓶頸處，如批處理與并發策略失衡、跨節點通信與調度不協調、顯存與系統內存配置不匹配等被持續損耗。

按業務目標對產能進行分層定價與調度

鄭緯民進一步指出，MaaS（模型即服務）一直是產業鏈的重要一環。但隨著AI進入規模化執行后，單純的模型接入已不足以支撐高效能供給。這意味著未來AI競賽的核心標準正在從MaaS（模型即服務）向TaaS（Token即服務）躍遷；從“比拼算力集群規模”徹底轉向“比拼每瓦Token生產效率”。

在鄭緯民的設想里，未來TaaS作為Agent時代生產智能的新型工業級服務體系，既能為產業釋放創新活力、為全國一體化算力網盤活存量資源，更能推動高質量智能服務普惠可及，讓智能生成像水電一樣穩定調度與供給，真正開啟普惠智能時代。

需要注意的是，據鄭緯民介紹，當前的Token服務其實是多樣的，有適用于實時交互、自動駕駛等對延遲敏感場景的極低時延型；有支持長上下文處理，適用于復雜Agent推理、多輪對話等場景的均衡通用型；還有大規模離線處理，適用于數據清洗、研報生成、模型微調等批量任務的高吞吐低成本型。未來，Token服務還需實現標準化、分層化與可調度化，將大模型參數合理分配至不同的計算資源上，以降低成本并提高性能。鄭緯民強調，按業務目標對產能進行分層定價與調度，是Token服務走向基礎設施的前提。

談到調度，鄭緯民還進一步指出，要實現全系統的“異構協同”，就不能將所有負載壓在最昂貴的GPU資源上，需實現計算、緩存、狀態保存與數據搬運的職能分離與各歸其位，將可用計算資源池大幅擴大，將異構設備都用起來。

“過去，我們建設模型；今天，我們要建設智能供給體系。從模型服務走向Token服務，是 Agent 時代對基礎設施的必然要求。只有當智能生成像水電一樣，被穩定調度與供給算力之上、Token 為王的普惠智能時代才算真正到來。”鄭緯民稱。