阿里發(fā)布世界模型HappyOyster，與谷歌Genie3競(jìng)爭(zhēng)

4月16日，阿里巴巴發(fā)布可實(shí)時(shí)構(gòu)建和交互的世界模型產(chǎn)品HappyOyster（快樂生蠔）。據(jù)悉，該模型基于原生多模態(tài)架構(gòu)而建，支持多模態(tài)理解與音視頻聯(lián)合生成。目前產(chǎn)品可實(shí)現(xiàn)漫游（Wander）和導(dǎo)演（Direct）兩大核心能力，用戶可以實(shí)時(shí)構(gòu)建可互動(dòng)、可演繹、可探索的AI數(shù)字世界。同時(shí)，用戶生成的數(shù)字世界，不僅能被完整保存，還能開放給其他用戶進(jìn)行二次創(chuàng)作。據(jù)悉，該產(chǎn)品由阿里ATH創(chuàng)新事業(yè)部團(tuán)隊(duì)研發(fā)，與此前爆火的HappyHorse同屬一個(gè)團(tuán)隊(duì)。

據(jù)了解，阿里的HappyOyster與谷歌的Genie3同屬于世界模擬器流派。區(qū)別于傳統(tǒng)文生視頻模型輸入提示詞、等待渲染、獲得成片的被動(dòng)流程，這一流派采用長(zhǎng)時(shí)間跨度上的世界演化建模方式。通過學(xué)習(xí)海量長(zhǎng)視頻數(shù)據(jù)，以及文本、動(dòng)作指令、圖像參考等多樣控制信號(hào)，模型能夠主動(dòng)理解空間、物理與因果規(guī)律，預(yù)測(cè)情節(jié)和畫面的演變，從而把“被動(dòng)生成內(nèi)容”轉(zhuǎn)變?yōu)椤爸鲃?dòng)模擬世界演化”，為構(gòu)建可交互的通用世界模擬器提供了關(guān)鍵技術(shù)路徑。

據(jù)介紹，相比谷歌，此次阿里發(fā)布的HappyOyster采用了時(shí)間跨度更長(zhǎng)的世界演化建模方式，使得模型能夠保持高保真、長(zhǎng)時(shí)序的動(dòng)態(tài)場(chǎng)景生成。同時(shí)在建模初始就設(shè)計(jì)了多樣的控制信號(hào)，使模型能夠在統(tǒng)一的時(shí)序框架下同時(shí)實(shí)現(xiàn)生成質(zhì)量、長(zhǎng)時(shí)序與實(shí)時(shí)可控性的協(xié)同優(yōu)化。在產(chǎn)品能力上，HappyOyster呈現(xiàn)出差異化優(yōu)勢(shì)。不僅能支持Wander漫游探索，還獨(dú)家提供實(shí)時(shí)導(dǎo)演功能，用戶可通過自然語言指令隨時(shí)介入世界演化、調(diào)度角色事件，實(shí)現(xiàn)從被動(dòng)探索到主動(dòng)創(chuàng)作的跨越。在視覺表現(xiàn)上，HappyOyster漫游模式的畫面質(zhì)量更高，風(fēng)格泛化能力更強(qiáng)，動(dòng)態(tài)性更好。（定西）