智在無(wú)界發(fā)布最強(qiáng)具身世界模型，20萬(wàn)小時(shí)人類(lèi)視頻屠榜6大榜單

機(jī)器之心發(fā)布

「人類(lèi)視頻，是機(jī)器人理解并與物理世界交互的最關(guān)鍵路徑?！?/strong>

這句如今逐漸成為行業(yè)共識(shí)的判斷，其實(shí)最早來(lái)自一家國(guó)內(nèi)具身智能初創(chuàng)公司 ——BeingBeyond（智在無(wú)界）。

在過(guò)去半年中，這家公司完成了「海量人類(lèi)視頻訓(xùn)練」的兩個(gè)重要里程碑：相繼發(fā)布了全球首個(gè)基于1000 小時(shí)1 萬(wàn)小時(shí)人類(lèi)視頻預(yù)訓(xùn)練的具身模型 —— Being-H0 與 H0.5，率先開(kāi)辟了「大規(guī)模人類(lèi)視頻驅(qū)動(dòng)具身學(xué)習(xí)」的技術(shù)路線。

隨后，NVIDIA 的 EgoScale、Generalist AI 的 GEN-1 等海外工作陸續(xù)跟進(jìn)，也從側(cè)面印證了這一方向的前瞻性。

作為人類(lèi)視頻學(xué)習(xí)路線的開(kāi)創(chuàng)者，4 月 14 日，智在無(wú)界發(fā)布第三代旗艦?zāi)Ｐ?Being-H0.7，該模型將數(shù)據(jù)規(guī)模擴(kuò)展至20 萬(wàn)小時(shí)人類(lèi)視頻，并提出一種全新的范式 ——基于潛空間推理的世界模型。在 6 項(xiàng)國(guó)際性權(quán)威評(píng)測(cè)中，H0.7 綜合排名全球第一（其中 4 項(xiàng)登頂），同時(shí)也是首個(gè)覆蓋跨本體、跨場(chǎng)景、連續(xù)動(dòng)態(tài)、流體、柔性物體、物理規(guī)律與上下文推理等七大關(guān)鍵維度的通用世界模型。

• 主頁(yè)鏈接:
• https://research.beingbeyond.com/being-h07
• 論文鏈接:
• https://research.beingbeyond.com/projects/being-h07/being-h07.pdf

Past?Present?Future

世界模型的分野

「世界模型（World Model）」最初其實(shí)是一個(gè)非常樸素的概念：給定當(dāng)前狀態(tài)和動(dòng)作，預(yù)測(cè)下一時(shí)刻的狀態(tài)。

早在 2018 年， Jürgen Schmidhuber 就在其《World Models》中系統(tǒng)闡述了用神經(jīng)網(wǎng)絡(luò)建模動(dòng)力學(xué)的思路。但隨著生成模型的發(fā)展，一個(gè)逐漸流行的誤解也隨之出現(xiàn)：世界模型 = 預(yù)測(cè)未來(lái)畫(huà)面（逐像素生成）。

事實(shí)上，無(wú)論是 Schmidhuber 的原始設(shè)想，還是 Yann LeCun 團(tuán)隊(duì)在 JEPA (Joint Embedding Predictive Architecture），都從未將「像素級(jí)預(yù)測(cè)」視為核心目標(biāo)。

原因很簡(jiǎn)單，真實(shí)世界的「狀態(tài)」，遠(yuǎn)遠(yuǎn)不等同于像素。物體之間的空間關(guān)系、柔性物體的形變、液體的流動(dòng)、摩擦與重力的作用…… 這些決定物理世界運(yùn)行的關(guān)鍵因素，并不能通過(guò)逐像素的圖像完全表達(dá)。世界模型不應(yīng)執(zhí)著于復(fù)現(xiàn)「畫(huà)面會(huì)變成什么樣」，而應(yīng)學(xué)會(huì)理解「世界為什么會(huì)這樣變化」。

從產(chǎn)業(yè)角度看，NVIDIA 當(dāng)前的世界模型工作在一定程度上回歸到視頻生成路線，這與其「算力提供方」的角色天然形成協(xié)同，但對(duì)具身智能而言，這并非最優(yōu)路徑。

智在無(wú)界認(rèn)為，一個(gè)理想的世界模型應(yīng)同時(shí)具備兩個(gè)核心能力：物理世界理解（Physical Understanding）與物理交互（Physical Interaction）。

現(xiàn)有 AI 模型范式在「物理理解–交互」坐標(biāo)系中的能力分布，Being-H0.7 在海量人類(lèi)數(shù)據(jù)驅(qū)動(dòng)下顯著拓展了世界模型的能力邊界。

按照這一標(biāo)準(zhǔn)回看過(guò)去幾年的 AI 發(fā)展路徑：從 LLM 到 VLM，再到 AIGC 時(shí)代的 Sora、Genie 3，這些模型對(duì)視覺(jué)世界的理解不斷加深，但始終停留在二維感知層面，缺乏與真實(shí)物理世界的交互能力。

近幾年，隨著 VLA 路線的興起，π0.5、GR00T、Being-H0.5 等模型通過(guò)在視覺(jué)語(yǔ)言模型上微調(diào)，直接輸出機(jī)器人動(dòng)作。雖然這讓模型具備了執(zhí)行任務(wù)的能力，但也帶來(lái)了新的問(wèn)題：在訓(xùn)練過(guò)程中，多模態(tài)理解能力往往被削弱，模型容易過(guò)擬合，很多時(shí)候是在「背答案」，而非真正基于環(huán)境做出判斷。

為彌補(bǔ)這一缺陷，以英偉達(dá) Cosmos-Policy、DreamZero 為代表的世界模型路線，嘗試通過(guò)視頻生成來(lái)建模交互。但這類(lèi)方法不僅計(jì)算開(kāi)銷(xiāo)巨大、難以實(shí)時(shí)運(yùn)行，而且基于二維視覺(jué)表征的方式，本質(zhì)上仍然難以真正理解物理世界。

在這樣的背景下，LeCun (AMI Labs) 提出，應(yīng)構(gòu)建更加基礎(chǔ)的世界模型，以提升對(duì)真實(shí)世界的理解能力。而智在無(wú)界則更進(jìn)一步，提出基于潛空間推理的全新范式，同時(shí)拓展世界模型在「理解」和「交互」兩個(gè)維度上的能力。

20 萬(wàn)小時(shí)人類(lèi)視頻

H0.7 的「通用世界模型基因」

傳統(tǒng) VLA 模型只能基于當(dāng)前觀測(cè)預(yù)測(cè)動(dòng)作，缺乏對(duì)未來(lái)變化的建模能力；而視頻生成式世界模型則依賴(lài)像素級(jí)預(yù)測(cè)來(lái)「想象」未來(lái)，但不僅難以抽象物理規(guī)律，還帶來(lái)了巨大的計(jì)算負(fù)擔(dān)。

事實(shí)上，人類(lèi)視覺(jué)系統(tǒng)天然會(huì)過(guò)濾靜態(tài)信息、強(qiáng)化對(duì)動(dòng)態(tài)變化的感知，大腦中也存在專(zhuān)門(mén)處理運(yùn)動(dòng)的區(qū)域，用于自動(dòng)抑制背景干擾。基于這一認(rèn)知，Being-H0.7 不再追求像素級(jí)重建，而是試圖學(xué)習(xí)一種更高效的能力 —— 類(lèi)似「物理直覺(jué)」的快速判斷機(jī)制。

因此，Being-H0.7 選擇了一條不同路徑：不再顯式生成未來(lái)畫(huà)面，而是提煉那些真正影響未來(lái)行動(dòng)的關(guān)鍵信息。

不同于 VLA 從當(dāng)前觀察直接映射到動(dòng)作，或視頻生成式世界模型引入龐大的預(yù)測(cè)模塊，Being-H0.7 在模型內(nèi)部引入了一組可學(xué)習(xí)的中間變量（latent queries），作為一塊預(yù)留的「思考空間」(latent reasoning)。在前向的過(guò)程中，模型將當(dāng)前觀測(cè)、任務(wù)目標(biāo)以及對(duì)未來(lái)可能演化的判斷壓縮至這一空間，并由其統(tǒng)一指導(dǎo)最終的動(dòng)作生成。

但這一「思考空間」本身并不天然具備對(duì)未來(lái)的建模能力。為此，Being-H0.7 采用了雙分支設(shè)計(jì)：一條路徑在「未來(lái)可見(jiàn)」的條件下（后驗(yàn)視角，posterior branch），引導(dǎo)模型學(xué)習(xí)哪些中間判斷真正有助于動(dòng)作決策；另一條路徑在「不可見(jiàn)未來(lái)」的真實(shí)部署條件下（先驗(yàn)視角，prior branch），約束模型僅基于當(dāng)前觀測(cè)形成盡可能一致的判斷。

不同于一些工作簡(jiǎn)單地將未來(lái)信息單向注入世界模型，Being-H0.7 在這兩種視角之間建立持續(xù)對(duì)齊與相互約束：后驗(yàn)分支提供未來(lái)演化的監(jiān)督信號(hào)，先驗(yàn)分支嚴(yán)格受限于真實(shí)可觀測(cè)信息。通過(guò)不斷對(duì)齊，模型逐漸學(xué)會(huì)在「思考空間」中，自適應(yīng)地根據(jù)當(dāng)前情景，推理對(duì)后續(xù)行動(dòng)真正有用的信息。

這種推理能力，本質(zhì)上接近于人類(lèi)的「物理直覺(jué)」。現(xiàn)實(shí)世界中，人類(lèi)并不會(huì)逐幀預(yù)測(cè)未來(lái)畫(huà)面，而是快速判斷：物體接下來(lái)會(huì)朝哪個(gè)方向運(yùn)動(dòng)？接觸關(guān)系會(huì)如何變化？施加的力會(huì)帶來(lái)穩(wěn)定還是失衡？交互過(guò)程會(huì)推進(jìn)目標(biāo)還是偏離？

人類(lèi)之所以能夠在很少試錯(cuò)的情況下掌握這些能力，是因?yàn)檫@種「直覺(jué)」早已在長(zhǎng)期進(jìn)化中內(nèi)化為本能。

相比之下，僅依賴(lài)實(shí)驗(yàn)室數(shù)據(jù)的機(jī)器人系統(tǒng)很難獲得這種能力，更難實(shí)現(xiàn)泛化?；谶@一洞察，智在無(wú)界構(gòu)建了全球少有的 20 萬(wàn)小時(shí)人類(lèi)視頻數(shù)據(jù)集，并據(jù)此訓(xùn)練 Being-H0.7，使模型獲得類(lèi)似「預(yù)訓(xùn)練基因」的能力，從而真正理解并改變物理世界。

在實(shí)現(xiàn)上，H0.7 的結(jié)構(gòu)反而相對(duì)簡(jiǎn)潔：兩路視角通過(guò)注意力掩碼（attention mask）共享主干上下文，只在 latent queries 處進(jìn)行對(duì)齊，并共同接受動(dòng)作監(jiān)督。未來(lái)信息無(wú)需解碼為未來(lái)圖像，而以緊湊表征參與訓(xùn)練。相比 Cosmos Policy 這類(lèi)視頻生成式世界模型，H0.7 的訓(xùn)練成本不到其 1%。

另外一個(gè)強(qiáng)大的優(yōu)勢(shì)則是推理速度的顯著提升，是 Fast-WAM 的 11 倍，是 imagine-then-execute 這類(lèi)生成式世界模型的 40 倍以上，Being-H0.7是世界上第一個(gè)能夠在端側(cè)設(shè)備上實(shí)時(shí)穩(wěn)定部署的世界模型。強(qiáng)大的推理能力賦予了 H0.7 對(duì)于外界動(dòng)態(tài)快速的感知能力，能完成如判斷滑落小球軌跡、高速流水線包裝、液體準(zhǔn)確傾倒等這些之前 VLA、世界模型都難以勝任的任務(wù)。

在評(píng)測(cè)方面，不同于多數(shù)模型只在單一榜單評(píng)測(cè)，Being-H0.7 在 6 項(xiàng)全球權(quán)威評(píng)測(cè)榜單上綜合排名世界第一，是目前覆蓋范圍最廣的具身世界模型。在跨本體、跨場(chǎng)景、連續(xù)動(dòng)態(tài)、流體、柔性物體、物理規(guī)律與上下文推理等七大關(guān)鍵維度上，Being-H0.7 均展現(xiàn)出領(lǐng)先的物理理解與泛化能力，其能夠完成復(fù)雜的多物體協(xié)作、長(zhǎng)時(shí)序規(guī)劃與精細(xì)物理交互任務(wù)。

為直觀地展示 Being-H0.7「思考空間」中所包含的信息，可以進(jìn)一步將觀測(cè)圖像與 Being-H0.7 先驗(yàn)分支的中間變量共同作為條件，基于視頻模型對(duì)任務(wù)未來(lái)狀態(tài)進(jìn)行可視化預(yù)測(cè)。

盡管 Being-H0.7 在推理時(shí)并不顯式進(jìn)行像素級(jí)未來(lái)重建，其隱空間表征中已經(jīng)蘊(yùn)含了對(duì)未來(lái)世界狀態(tài)的預(yù)測(cè)，體現(xiàn)出「隱式具身世界模型」的核心特征。

真機(jī)實(shí)驗(yàn)部分，Being-H0.7 借助世界模型架構(gòu)，展現(xiàn)出了令人驚喜的表現(xiàn)。做到了更精準(zhǔn)的空間感知、物理理解和運(yùn)動(dòng)推理能力，更具體地講，實(shí)現(xiàn)了以下幾種物理世界級(jí)的理解和交互能力：

• 動(dòng)態(tài)軌跡預(yù)測(cè)：在高速動(dòng)態(tài)場(chǎng)景下，Being-H0.7 借助物理世界知識(shí)和快速推理，能夠預(yù)測(cè)物體軌跡并精準(zhǔn)完成物理世界交互；

• 物理規(guī)律理解：Being-H0.7 通過(guò)大規(guī)模預(yù)訓(xùn)練構(gòu)建了豐富的世界知識(shí)，能夠準(zhǔn)確理解流體物理規(guī)律并完成復(fù)雜任務(wù)指令；

• 運(yùn)動(dòng)推理能力：Being-H0.7 具備物理世界下的動(dòng)力學(xué)推理能力，能夠準(zhǔn)確推理物體交互后的空間方位并規(guī)劃好動(dòng)作。

基于以上能力，Being-H0.7 能夠完成高速運(yùn)動(dòng)物體的追蹤和接取、精細(xì)流體控制、柔性物體交互等高挑戰(zhàn)性的任務(wù)。

文中視頻鏈接：https://mp.weixin.qq.com/s/4GBE4mjEPHVakZ0sGbuKlg

世界模型的再定義：從 AMI Labs 到 BeingBeyond

Our main goal is to build intelligent systems that understand the real world —— AMI Labs

面對(duì)這一愿景，作為開(kāi)啟「大規(guī)模人類(lèi)視頻驅(qū)動(dòng)具身學(xué)習(xí)」這一路線的先行者，BeingBeyond 創(chuàng)始人盧宗青表示：

理解世界不夠，必須學(xué)會(huì)改變世界。物理世界的理解與交互是不可分割的。如果一個(gè)模型只學(xué)習(xí)「世界會(huì)變成什么樣」，而不學(xué)習(xí)「采取什么行動(dòng)會(huì)導(dǎo)致這種變化」，它本質(zhì)上仍然是一個(gè)被動(dòng)觀察者，容易退化為「缸中之腦」。

因此，不同于 LeCun，智在無(wú)界采用的技術(shù)路徑是：同時(shí)建模狀態(tài)變化與動(dòng)作生成（joint prediction of state and action）。在數(shù)據(jù)層面，這一設(shè)計(jì)自然對(duì)應(yīng)于第一人稱(chēng)人類(lèi)視頻，它不僅提供視覺(jué)觀測(cè)，同時(shí)也包含了人類(lèi)動(dòng)作。這樣的數(shù)據(jù)可規(guī)模化獲取，天然適用于具身學(xué)習(xí)。因而，我認(rèn)為，大規(guī)模人類(lèi)視頻是通向具身基礎(chǔ)模型的一條可行路徑，使機(jī)器人能夠從人類(lèi)行為中學(xué)習(xí)如何理解并作用于物理世界。