ChatGPT、Manus、Genspark哪家強(qiáng)？紅杉中國xbench出了考卷

最近，紅杉中國 xbench 在行業(yè)里有不少動(dòng)作，連發(fā)兩篇Agent有關(guān)的論文。

老朋友應(yīng)該都知道，xbench是紅杉中國推出的一款AI基準(zhǔn)測試，用來量化AI系統(tǒng)在真實(shí)場景的效用價(jià)值，采用的是長青評(píng)估機(jī)制。

xbench想在市面上魚龍混雜的“刷榜”、“野榜”、“紙面數(shù)據(jù)”之外，建立起一套評(píng)價(jià)標(biāo)準(zhǔn)，更好地衡量 AI 模型在真實(shí)業(yè)務(wù)場景中，解決復(fù)雜問題的能力。

印象中的投資機(jī)構(gòu)，親自下場參與模型能力測評(píng)以及技術(shù)標(biāo)準(zhǔn)定義的，不算多。
而在AI新技術(shù)范式影響下的VC，似乎已經(jīng)有了新的組織形態(tài)，以及在新組織形態(tài)上長出來的技術(shù)理解和成果。
記得xbench剛發(fā)布的時(shí)候，我的理解還停留在大模型測評(píng)集的階段，感覺是投資人為了追求更精準(zhǔn)的判斷力，主動(dòng)打造的一手實(shí)驗(yàn)數(shù)據(jù)。
現(xiàn)在再看，紅杉中國對(duì)AI模型能力邊界和Agent發(fā)展路線的理解，不亞于一線的技術(shù)型公司。

所以，別以為投資人不懂技術(shù)、很好忽悠了。
我甚至有種恐慌，也許有一天，頭部基金，用Venture Studio等形式，親自下場做產(chǎn)品也很正常。
聽說已經(jīng)有了。
難道下一個(gè)字節(jié)跳動(dòng)，會(huì)是投資人在投資機(jī)構(gòu)里，自己vibe coding出來的嗎？
說不定真的有可能。

https://xbench.org/

具體說說這兩篇論文是咋回事。

上周，xbench 聯(lián)合 UniPat AI 發(fā)布了 BabyVision，一個(gè)專注于純視覺理解能力的評(píng)測集。

它討論的主題很明確：在世界模型和視覺多模態(tài)這條路上，模型的潛力遠(yuǎn)沒有被完全釋放。

那套評(píng)測并不急著給模型打分，更像是在提醒行業(yè)，未來的能力增長，很可能來自對(duì)真實(shí)世界結(jié)構(gòu)的重新理解。

這一周，xbench 又向前推了一步。

這一次，關(guān)注點(diǎn)從「看懂世界」轉(zhuǎn)向了「把一天過完」。

https://xbench.org/agi/agentif

AgentIF-OneDay 的出現(xiàn)，標(biāo)志著 Agent 評(píng)測從短時(shí)、單點(diǎn)、封閉任務(wù)，正式進(jìn)入長時(shí)、復(fù)雜、全場景的現(xiàn)實(shí)尺度。

它試圖回答一個(gè)簡單又殘酷的問題：如果把人類一天的任務(wù)量完整交給一個(gè) Agent，它能否在沒有人工介入的情況下，把事情真正做完。

在當(dāng)前的行業(yè)語境下，這個(gè)問題比任何排行榜都更重要。

01.當(dāng)單點(diǎn)能力接近 PhD，Agent 的短板開始暴露

過去一年，大模型在單點(diǎn)推理任務(wù)上的進(jìn)步已經(jīng)非常明顯。

無論數(shù)學(xué)、代碼，還是知識(shí)密集型問答，分鐘級(jí)任務(wù)的完成質(zhì)量已經(jīng)逼近人類高水平專家。

ScienceQA、DeepSearch 這類評(píng)測的多次升級(jí)，也不斷拉高著模型的上限。

問題出現(xiàn)在時(shí)間被拉長之后。

一旦任務(wù)復(fù)雜度超過普通人一小時(shí)可以處理的范圍，Agent 的整體完成度會(huì)出現(xiàn)明顯下滑。

這種下滑并不體現(xiàn)在某個(gè)步驟做錯(cuò)，而是體現(xiàn)在全過程的失控：上下文斷裂、中間目標(biāo)丟失、工具調(diào)用前后不一致、隱含約束被忽略，最終導(dǎo)致任務(wù)在形式上完成，實(shí)質(zhì)上失敗。

這道鴻溝的存在，讓「Agent 已經(jīng)很強(qiáng)」與「Agent 還不能真正替你工作」這兩種判斷同時(shí)成立。

xbench 在這一階段選擇引入 AgentIF-OneDay，本質(zhì)上是一次尺度的重構(gòu)。

評(píng)測的核心不再是模型知道多少知識(shí)，也不只是能否完成某個(gè)高難度推理點(diǎn)，而是把注意力轉(zhuǎn)向一個(gè)更貼近現(xiàn)實(shí)的問題：完成一個(gè)任務(wù)，需要消耗多少人類時(shí)間，這個(gè)時(shí)間背后，對(duì)應(yīng)著怎樣的經(jīng)濟(jì)價(jià)值。

02.用「人類一天」重新定義 Agent 的能力邊界

AgentIF-OneDay 背后的一個(gè)關(guān)鍵判斷，是將任務(wù)復(fù)雜度與知識(shí)深度解耦。

在傳統(tǒng)評(píng)測中，復(fù)雜度往往意味著推理鏈更長、知識(shí)點(diǎn)更冷門、邏輯結(jié)構(gòu)更精巧。

但在真實(shí)工作中，復(fù)雜度更多來自時(shí)間和協(xié)同成本。一個(gè)任務(wù)并不一定難，卻可能極其耗時(shí)，需要反復(fù)確認(rèn)信息、切換工具、處理格式、校驗(yàn)結(jié)果，還要在過程中持續(xù)保持目標(biāo)一致。

xbench 提出了兩個(gè)決定 Agent 能力上限的軸線：scaling context 與 scaling domain。

前者關(guān)注時(shí)間維度。

Agent 是否能在更長的執(zhí)行周期中維護(hù)上下文狀態(tài)，記住中間結(jié)果，遵守先前的約束，在多步驟、多工具的交互中保持一致性。

從分鐘級(jí)，到小時(shí)級(jí)，再到一天級(jí)，這是一個(gè)對(duì)穩(wěn)定性和記憶管理要求極高的過程。

后者關(guān)注任務(wù)分布。

現(xiàn)實(shí)世界的工作很少是單一領(lǐng)域的連續(xù)推理，而是跨 domain、跨格式、跨語境的混合任務(wù)。

目標(biāo)表述往往不完整，約束隱藏在附件里，評(píng)估標(biāo)準(zhǔn)隨場景變化。

Agent 能否覆蓋更廣泛的任務(wù)類型，決定了它是否具備真正的通用性。

AgentIF-OneDay 正是沿著這兩條軸線展開設(shè)計(jì)。它把評(píng)測的時(shí)間尺度推進(jìn)到 OneDay，同時(shí)覆蓋生活、學(xué)習(xí)與職業(yè)等多個(gè)高頻場景，試圖描繪出當(dāng)前 Agent 在真實(shí)世界任務(wù)分布中的能力輪廓。

03.把一天拆開，工作流、范例與迭代才是真實(shí)世界

在構(gòu)造評(píng)測任務(wù)之前，xbench 分析了大量用戶的真實(shí)工作日志。

一個(gè)有意思的發(fā)現(xiàn)是，具體內(nèi)容千差萬別，但任務(wù)結(jié)構(gòu)高度穩(wěn)定。

大多數(shù)人的一天，可以被抽象為三種類型。

第一類是工作流執(zhí)行。

用戶清楚知道該做什么，步驟明確，難點(diǎn)集中在執(zhí)行的繁瑣性和信息校驗(yàn)上。

以 NeurIPS 行程規(guī)劃為例，Agent 需要跨站點(diǎn)核驗(yàn)信息、收集時(shí)間節(jié)點(diǎn)、判斷日程是否發(fā)布，再給出不同優(yōu)化目標(biāo)下的方案。

這類任務(wù)考驗(yàn)的不是創(chuàng)造力，而是耐心、準(zhǔn)確性和流程一致性。

第二類是范例參考。

用戶無法完整描述規(guī)則，只能提供示例或附件。換手機(jī)套餐的例子中，Agent 需要從文件中推斷隱含條件，在顯式指令與隱式約束之間做出平衡。

這是人類日常工作中最常見的模式，也是 Agent 走向內(nèi)容生產(chǎn)、報(bào)告生成等職業(yè)型任務(wù)的前提。

第三類是迭代式編輯。

需求在過程中不斷變化，約束逐步顯現(xiàn)，解法并不預(yù)先存在。

更新會(huì)場布局的任務(wù)，要求 Agent 在多輪修改中保持上下文一致，同時(shí)遵守來自不同文件的硬性條件。這類任務(wù)對(duì)狀態(tài)管理和長期一致性的要求極高。

AgentIF-OneDay 的 104 道任務(wù)，正是圍繞這三種結(jié)構(gòu)展開。

文件驅(qū)動(dòng)的合成任務(wù)覆蓋了 PDF、PPT、Excel、圖像、代碼等 15 種以上格式，模擬的正是現(xiàn)實(shí)工作中極為常見的跨來源、跨工具流程。

04.當(dāng)評(píng)分變得細(xì)碎，Agent 的失誤也無處可藏

為了避免「結(jié)果對(duì)了就算贏」的粗糙判斷，AgentIF-OneDay 為每道任務(wù)設(shè)計(jì)了細(xì)粒度的評(píng)分標(biāo)準(zhǔn)，總計(jì) 767 個(gè)評(píng)分點(diǎn)。

這些評(píng)分點(diǎn)既包含正向指標(biāo)，也包含負(fù)向指標(biāo)。

格式是否一致、結(jié)構(gòu)是否復(fù)現(xiàn)、步驟是否完整，會(huì)被逐一檢查；誤刪內(nèi)容、越界生成、錯(cuò)誤操作，同樣會(huì)被明確扣分。

評(píng)測系統(tǒng)采用 LLM 作為裁判，并結(jié)合網(wǎng)頁檢索、HTML 渲染、多模態(tài)比對(duì)等自動(dòng)校驗(yàn)方式，盡量減少主觀偏差。

在這套機(jī)制下，Agent 的得分不只取決于有沒有完成任務(wù)，更取決于過程是否干凈，是否正確解析附件，是否在迭代中保持一致。

評(píng)測結(jié)果也呈現(xiàn)出一些值得玩味的現(xiàn)象。

從整體任務(wù)成功率來看，Manus、Genspark 與 ChatGPT-Agent 集中在 0.62–0.65 區(qū)間，構(gòu)成第一梯隊(duì)。

不同技術(shù)路線的 Agent，在真實(shí)任務(wù)鏈上的體感差異并沒有拉開數(shù)量級(jí)。

這在一定程度上印證了模型能力的重要性，在不引入 test-time scaling 的前提下，多智能體框架本身很難制造巨大差距。

從任務(wù)領(lǐng)域看，ChatGPT-Agent 更偏向?qū)I(yè)生產(chǎn)力，Manus 在生活助手場景表現(xiàn)突出，Genspark 更適合學(xué)習(xí)型任務(wù)。

不同產(chǎn)品的迭代方向，決定了各自的長項(xiàng)與短板。

從能力維度看，Genspark 在隱式指令推斷上表現(xiàn)最佳，Manus 在開放工作流執(zhí)行中更穩(wěn)定，Minimax-Agent 在迭代式編輯中優(yōu)勢明顯。

隱式結(jié)構(gòu)理解依然是當(dāng)前 Agent 普遍的薄弱環(huán)節(jié)，尤其是在格式遷移和規(guī)則抽取任務(wù)中，完整正確的案例仍然罕見。

這些結(jié)果共同指向一個(gè)結(jié)論：穩(wěn)定性、文件處理鏈路、隱式結(jié)構(gòu)理解能力，以及跨工具的狀態(tài)管理，才是決定 Agent 能否承擔(dān)一天工作量的關(guān)鍵。

05.從OneDay到OneWeek，Agent的下一道門檻

在 AgentIF-OneDay 之后，xbench 已經(jīng)開始構(gòu)建 OneWeek 級(jí)別的評(píng)測集。

一周尺度的任務(wù)，帶來的挑戰(zhàn)并不僅僅是時(shí)間更長。

隨著跨度增加，任務(wù)往往會(huì)自然嵌入具體行業(yè)語境，金融、醫(yī)療、法律等高價(jià)值場景的數(shù)據(jù)獲取成本顯著上升，rubric 的設(shè)計(jì)也會(huì)變得更加嚴(yán)格。

在這一階段，依賴靜態(tài)數(shù)據(jù)集和離線評(píng)測的方式開始顯露局限性。

Agent 要想進(jìn)一步提升，很難只靠訓(xùn)練時(shí)吃下更多人類知識(shí)，而需要在實(shí)際運(yùn)行中不斷修正行為。這也是近期 online learning 討論升溫的背景。

如果把長程 Agent 的發(fā)展類比自動(dòng)駕駛，那么當(dāng)前階段更接近有限路段的輔助駕駛。

真正的 FSD 時(shí)刻，依賴于大量真實(shí)場景數(shù)據(jù)的積累。用戶數(shù)據(jù)帶來的場景多樣性，是系統(tǒng)泛化能力的關(guān)鍵來源。

在 Agent 領(lǐng)域，同樣的邏輯正在顯現(xiàn)。誰能率先建立高質(zhì)量的數(shù)據(jù)飛輪，誰就更有可能率先交付可靠的長程 Agent。

當(dāng) Agent 能夠在一周尺度上穩(wěn)定產(chǎn)出，它才真正具備進(jìn)入組織、承擔(dān)崗位、創(chuàng)造持續(xù)經(jīng)濟(jì)價(jià)值的資格。

AgentIF-OneDay 的意義，正在于此。

它并不宣告某個(gè)系統(tǒng)已經(jīng)足夠成熟，而是清晰地標(biāo)出了下一段路的難度與方向。

最后，強(qiáng)烈大家去看看論文原文！

以及去紅杉中國xbench的官網(wǎng)去看看，上面有各種各樣的打分和排名，還有些好玩的小東西！

https://xbench.org/

AI一年，人間十年。

連投資人都這么努力，我們也多看些論文吧……

Paper Link:

https://github.com/xbench-ai/AgentIF-OneDay/blob/main/paper/AgentIF_OneDay_0117.pdf

website:

https://xbench.org/

github:

https://github.com/xbench-ai/AgentIF-OneDay

huggingface:

https://huggingface.co/datasets/xbench/AgentIF-OneDay