你的AI agent每花12塊，就有5塊在空轉(zhuǎn)

一個(gè)保險(xiǎn)理賠，用戶申請(qǐng)50塊，系統(tǒng)花了12塊4才批下來(lái)。LLM（大型語(yǔ)言模型）把同一個(gè)數(shù)據(jù)庫(kù)查了7遍，對(duì)話上下文重新總結(jié)了4遍，還幻覺(jué)出一個(gè)不存在的工具，重試，報(bào)錯(cuò)，再試。最終響應(yīng)到達(dá)時(shí)，用戶已經(jīng)走了8.3秒。

這不是極端案例。這是常態(tài)。

作者審計(jì)了8個(gè)生產(chǎn)級(jí)agent部署，發(fā)現(xiàn)35%-45%的token消耗根本與用戶意圖無(wú)關(guān)——無(wú)限循環(huán)、重復(fù)計(jì)算、幻覺(jué)調(diào)用。他給這筆錢起了個(gè)名字：隨機(jī)稅（Stochastic Tax）。

為什么你的agent在"空轉(zhuǎn)"

LLM本質(zhì)是概率推理器，不是可靠執(zhí)行器。它不知道自己什么時(shí)候該停，不記錄已經(jīng)試過(guò)什么，也記不住超出當(dāng)前窗口的上下文。每個(gè)決策都是從概率分布里采樣出來(lái)的。

這在第三步之后必然崩。

作者觀察到一個(gè)典型模式：用GPT-4或Claude Sonnet做意圖路由，相當(dāng)于用1750億參數(shù)的模型干70億參數(shù)就能干的活。成本差100倍。

「前沿模型成本是小模型的100倍，」作者寫道，「你在為175B+參數(shù)推理付費(fèi)，實(shí)際只需要7B參數(shù)分類。」

更隱蔽的損耗是上下文重處理。每次步驟推進(jìn)，naive架構(gòu)會(huì)把整段對(duì)話歷史喂給模型重新總結(jié)。5步工作流下來(lái)，70%的token花在重復(fù)咀嚼已經(jīng)知道的信息。

三層止血方案

作者給出的解法不是更好的提示詞，是架構(gòu)層面的確定性控制。

第一層：分級(jí)模型路由

3B模型做意圖分類，8B模型調(diào)用工具，70B模型做綜合推理，前沿模型只負(fù)責(zé)最后潤(rùn)色。1萬(wàn)次日請(qǐng)求的成本對(duì)比：純GPT-4路線每年燒掉284萬(wàn)，分級(jí)路由壓到50萬(wàn)出頭。首月省下的錢就夠付工程師工資。

第二層：硬編碼退出條件

永遠(yuǎn)別讓agent無(wú)限循環(huán)。作者建議的guardrail包括：工具調(diào)用失敗≥2次立即轉(zhuǎn)人工；token消耗超過(guò)閾值強(qiáng)制終止；檢測(cè)到循環(huán)模式自動(dòng)降級(jí)。

第三層：增量上下文快照

用結(jié)構(gòu)化快照替代全歷史重傳。只傳遞自上次步驟以來(lái)的delta（增量），token消耗直降70%。

從F1分?jǐn)?shù)到token效率

作者拋出一個(gè)反直覺(jué)觀點(diǎn)：別再優(yōu)化F1分?jǐn)?shù)了。生產(chǎn)環(huán)境該盯的是token-to-action比率（每個(gè)動(dòng)作消耗多少token）、錯(cuò)誤恢復(fù)成本（搞砸一次要花多少token補(bǔ)救）、以及模型升級(jí)彈性（換模型時(shí)架構(gòu)是否扛得?。?。

他算了一筆賬：某保險(xiǎn)公司日處理1萬(wàn)筆理賠，實(shí)施這套方案后年省284萬(wàn)，工程投入10萬(wàn)，5周交付。ROI 28.4倍，回本周期13天。

實(shí)施路徑也給了：第一周審計(jì)現(xiàn)狀，跑1000條生產(chǎn)請(qǐng)求算浪費(fèi)基線；第二三周搭分級(jí)路由；第四周上監(jiān)控guardrail；第五周替換上下文機(jī)制；第六周驗(yàn)證token-to-action<2500。

作者最后補(bǔ)了一句：「第一月的收益就夠付工程師工資?！?/b>