Inception把推理成本砍到1/10

3月4日，Inception Labs的Mercury 2模型上線Vercel AI Gateway。這家專注推理效率的AI公司，把"快思考"模型的延遲壓到了實(shí)時級別，價(jià)格卻只有同類推理模型的零頭。

開發(fā)者圈子的反應(yīng)很直接：有人算了一筆賬，同樣處理客服工單分類+文檔檢索+回復(fù)草稿的完整鏈路，Mercury 2的響應(yīng)速度夠快，終于不會讓終端用戶盯著轉(zhuǎn)圈圈了。

速度怎么做到這么快的

Inception Labs沒走常規(guī)路線。他們的Mercury系列用了一種叫"擴(kuò)散推理"（Diffusion Reasoning）的技術(shù)路徑——不是像傳統(tǒng)大模型那樣一個詞一個詞往外蹦，而是一次性生成整段內(nèi)容的輪廓，再逐步細(xì)化。

類比的話，傳統(tǒng)自回歸模型像打字機(jī)，必須等前一個字符出來才能打下一個；擴(kuò)散推理更像素描，先勾整體輪廓，再慢慢加深陰影。這種結(jié)構(gòu)讓Mercury 2在代碼補(bǔ)全、語音交互、RAG（檢索增強(qiáng)生成）這類對延遲敏感的場景里，能把復(fù)合延遲的累積效應(yīng)壓到最低。

Vercel AI Gateway的接入方式很樸素：一行代碼改model參數(shù)，從其他模型切到inception/mercury-2就行。網(wǎng)關(guān)層自動處理負(fù)載均衡、故障轉(zhuǎn)移、用量追蹤，開發(fā)者不用自己造輪子。

誰在用，用在哪

官方文檔列的場景很務(wù)實(shí)：客服工單自動分類、知識庫檢索、響應(yīng)草稿生成、升級判斷——全是企業(yè)里已經(jīng)跑通、但卡在成本和延遲上的老需求。

一個細(xì)節(jié)：Mercury 2的定位是"推理級質(zhì)量，實(shí)時級延遲"。換句話說，它瞄準(zhǔn)的不是GPT-4那種需要憋很久才出結(jié)果的深度推理，而是那些"既要動點(diǎn)腦子，又不能讓用戶等"的中間地帶。

這個定位本身就很微妙。過去企業(yè)在這類場景里要么犧牲質(zhì)量用快模型，要么犧牲體驗(yàn)用慢模型。Inception Labs賭的是：中間市場夠大，且沒人專門伺候好。

Vercel的算盤

AI Gateway對Vercel來說不只是功能堆砌。它提供統(tǒng)一API、自帶可觀測性、支持BYOK（Bring Your Own Key，自帶密鑰），還有跨供應(yīng)商的智能路由——這些都是在企業(yè)采購決策里越來越重的籌碼。

把Mercury 2接進(jìn)來，相當(dāng)于給網(wǎng)關(guān)的模型矩陣補(bǔ)了一塊性價(jià)比突出的拼圖。開發(fā)者可以在同一個網(wǎng)關(guān)里混用不同模型：復(fù)雜任務(wù)走慢但強(qiáng)的，實(shí)時交互走M(jìn)ercury 2這種快且夠用的。

目前AI Gateway的模型排行榜和Playground已經(jīng)更新。Mercury 2的具體排名還沒完全穩(wěn)定，但早期測試者的反饋集中在一點(diǎn)：延遲數(shù)字確實(shí)好看，但復(fù)雜推理任務(wù)的質(zhì)量邊界在哪，還需要更多生產(chǎn)環(huán)境的驗(yàn)證。