華為天才少年創業，全球首個虛實融合的實時交互視頻模型來了

編輯｜Youli

還記得童年的那個愿望嗎？

隨著《數碼寶貝》進化曲的響起，屏幕前的你我或許都曾幻想過：要是那只從數碼蛋中破殼而出的滾球獸，真的可以從電視屏幕那端跳出來，就好了。

彼時，我們只能將這種天馬行空的「美夢」寄希望于「次元裂縫」的開啟。再后來，技術增強現實（AR）技術曾一度帶來了希望，但幾經潮起潮落，結果仍停留在「預先制作的內容疊加」層面，數字角色無法真正感知環境。

而現在已經 2026 年了，生成式 AI、實時渲染、端側算力、感知模型同時成熟，尤其是 Sora 展現出的前所未有的世界模擬能力，讓大家意識到，原來虛擬內容不再需要完全預制，可以被實時生成、驅動，并具有物理合理性。技術的狂奔第一次讓曾經的「中二夢」，具備了成為現實的可能：你真的可以從屏幕中「召喚」出一只滾球獸。

是不是很神奇？手機鏡頭對準桌面，選取一張滾球獸照片，下一秒，一只滾球獸就「脫屏而出」，出現在桌面上，四處張望。你伸出手，它剛開始會有點警惕，之后就親昵地蹭你的手心，你輕輕一捏，它會給出Ｑ彈的物理反饋，而當你把手攤開，它甚至可以被你「托」在掌心之中，就好像，這是一只「活」的滾球獸……通過一個手機攝像頭，虛擬角色第一次實現了與現實世界的融合。

這就是由初創公司 Xmax AI 推出的首個虛實融合的實時交互視頻模型 X1，沒有復雜的 Prompt，不需要漫長的渲染等待，只需要手勢進行交互，就可以讓虛擬世界與現實相連，在鏡頭中令「幻想」成真，讓用戶體驗到實時交互的心流體驗。

目前，Xmax AI 已通過一款技術演示型應用 X-cam（目前開放 testflight 下載），將 X1 的能力開放給部分用戶體驗，感興趣的朋友可以通過文末提到的方式獲取邀請碼，近距離體驗一下技術的邊界。

「虛實融合 + 實時交互」，視頻生成進入「人人可玩」時代

過去這一年多，AI 視頻生成領域可以說是遍地開花、神仙打架。

數據顯示，2024 年全球 AI 視頻生成市場規模已達 6.148 億美元，預計到 2032 年將飆升至 25.629 億美元。在市場的強需求推動下，從 Sora 到 Runway，各路玩家都在沿著「更強的生成能力」方向極力狂奔：卷畫質、卷時長、卷分辨率……

仔細看下來，整個賽道，大多數玩家選擇的技術路線依然是文生視頻，致力于面向專業領域的創作者 —— 影視、廣告、內容工業等，打造更強大、更完善的生產力工具。

可不得不承認，在當前的「視頻模型軍備競賽」中，普通用戶似乎沒有參與到狂歡中，感受就是「熱鬧是他們的，我什么也沒有。」

原因很現實，首先是上手難，當然，很多視頻生成工具操作起來已經很便捷，可很多時候寫出精準的 Prompt 依然像是在編寫代碼，而且等待時間長，生成時間動輒從數秒到數分鐘，再到數十分鐘不等，缺乏即時反饋的快感。而漫長的等待后，得到的也不過是一段存在于屏幕里的「只能看、不能碰」，與當下日常生活毫無關系的虛擬視頻。

Xmax AI 敏銳地捕捉到了這一點：AI 視頻生成要想真正走入大眾，就不能僅停留在「工具」階段，要容易上手，要讓大眾有參與感，能夠「玩」起來。

可這也就意味著，在基礎視頻生成能力之外，行業還需要跨越兩座「大山」：一是降低交互門檻，改變傳統的文生視頻工具需要專業想法和 Prompt 撰寫能力的方式；二是要與現實世界有更多結合，人是生活在現實中，文生視頻模型一定程度上確實滿足了完全虛擬化的想象，可人對現實的幻想并沒有被滿足。

基于此，Xmax AI 走了一條截然不同的路線：推出首個虛實融合的實時交互視頻模型 X1，讓視頻生成告別鍵盤輸入，回歸人類最本能的手勢與觸控，僅需要一個手機攝像頭，就能打破虛擬與現實的「壁」。

具體來看，基于 X1 強大的端側實時生成能力，Xmax AI 將這一技術落地為四大核心玩法：次元互動、世界濾鏡、觸控動圖、表情捕手…… 每一臺手機似乎都變成了連接虛實的「魔法棒」。

次元互動：這就是前面那個視頻所展示的能力，手機攝像頭拍攝現實場景，任意上傳一張角色參考圖，就可以將該角色在鏡頭中「召喚」出來。

比如下面這個小兔子，你可以在鏡頭前伸出手與它互動，捏一捏、拍一拍，甚至將把它托到手上。視頻中可以看到，當撫摸到兔子眼睛旁位置時，它會跟隨人的動作轉頭，甚至可以看到絨毛因為觸碰而遮蓋眼睛的情況，沒有延遲，因為它所有的物理反應都是 X1 模型實時生成的，所以，看起來就好像真的在撫摸一個真實存在的生命體。

不僅僅是動漫角色，可以說是任何自己喜歡的紙片人、寵物、毛絨玩具，都可以在鏡頭中「活」過來。

世界濾鏡：任意上傳一張風格參考圖，就可以將手機攝像頭拍攝的畫面實時轉換，變成指定的風格，例如梵高畫風、樂高畫風等。可以用于渲染環境，也可以用于渲染人物，甚至可以用于渲染屏幕內容，像是正在玩的游戲畫面。

直接來看一個例子，下面視頻中的小姐姐通過選取不同風格的參考圖，讓自己「化身」為圖片所示風格的人物，可以是經典動漫中的二次元虛擬形象，也可以是樂高積木風格。而且，當小姐姐做出揮手或是搖頭動作時，視頻中「變身」后的人物或形象會實時跟著做出相應的動作。

觸控動圖：讓靜態照片「活」過來、動起來，不再需要復雜軟件。對于任意一張照片，都可以在觸摸屏上對照片中的角色進行拖拽控制，讓它實時運動起來。

比如下面視頻中動漫風格的小兔子，左右拖動它的耳朵，它就開始左右搖頭；上下揮動，它就做出被拍腦袋的動作；拖動嘴角，它會露出微笑。「實物」也可以，給自家貓咪狗子拍張照上傳，就可以讓它揮手、掄拳，跳起舞；眨眼、吐舌、賣起萌。甚至是「惡搞」的，將劉海剪成整齊模樣的馬，也在鏡頭下開始搖頭晃腦…… 就像在操控提線木偶，輕松賦予靜止圖像以生命力。

表情捕手：將相機鏡頭對準任意的人或物體，選擇一個「大拇指」或「怒氣沖沖」的 Emoji，AI 就會實時「捕捉」對方的特征，實時生成一個神態精準、魔性十足的動態表情包。這簡直就是「社交神器」，以后聚會也不用擔心冷場，隨時就可以拿出來玩一下。

強大能力背后的技術挑戰與實現

是不是很好玩，即便是對技術沒什么了解，也可以輕松上手。但在業內人士看來，這不僅是產品的創新，更是工程能力的「暴力美學」。

「有趣體驗背后，是極高的技術挑戰。」Xmax AI 向機器之心透露，要實現上述這些效果，必須同時解決當前 AI 行業的三大痛點：

首先是極致實時，從上面的視頻中也可以看出來，視頻中的人物或是形象的反應隨時能夠跟著手勢變，給用戶產生一種「我在和它互動」的感覺，而這就要求延遲必須控制在毫秒級，可當前市面上的大多數所謂「實時」模型響應往往需要數秒，難以滿足 Xmax AI 想要在交互場景中呈現的效果需求。

其次是意圖理解，Xmax AI 的想法是希望交互方式多種多樣且自然，對普通人來說門檻足夠低，這就要求模型做到能夠自動理解人的意圖，并實時生成精準的反饋結果。可當前大多數模型都是文生視頻、圖生視頻，無法實現這些手勢交互效果。比如，對于模型來說，當人做出「捏」這個動作時，要讀懂其中的意圖，可要比讀懂一段文字難得多。

另外，還存在數據稀缺的問題，對于整個 AI 行業來說，數據都足夠重要卻又極致稀缺，更何況是相對小眾的「虛實融合交互數據」，生產成本高，構造難度極大。但現實又是，想要實現好的虛實融合的效果就必須基于大量且專業的高質量訓練數據。

這些挑戰一度讓 Xmax AI 犯了難。

但需要注意的是，Xmax AI 是一支既懂底層算法，又懂工程化落地，還擁有敏銳產品嗅覺的「特種部隊」。

創始人史佳欣，出身于華為「天才少年」計劃，是一位典型的技術極客。聯合創始人梁宸，現任港科大（廣州）助理教授、博導。聯合創始人翁躍庭，是一位「六邊形戰士」型的全棧工程師。而公司核心技術團隊則都是來自清華大學 KEG 實驗室和 HCI 實驗室的人才，是國內大模型領域和人機交互領域的頂尖力量。

不僅如此，團隊核心成員也大都在字節、快手、華為、阿里等頭部 AI 大廠歷練過，有著豐富的技術落地實踐經驗。

因此，面對上述這些挑戰，Xmax AI 交出了一份「硬核」的技術答卷。

針對極致實時性需求，Xmax AI 進行架構創新，提出了端到端的流式重渲染視頻模型架構，實現了幀級別的自回歸 DiT（Diffusion Transformer），并通過多階段的蒸餾壓縮和對抗訓練，百倍提升了每一幀畫面的擴散采樣速度。不僅將延遲壓低至毫秒級，更是通過自研的「循環回歸架構」打破了時長的限制，支持無限時長的連續生成。

針對模型對意圖理解的高要求，Xmax.AI 則構建了統一的交互模型架構，讓模型既能理解攝像頭透視下的空間三維關系，也能理解屏幕觸控下的平面二維操作，從而對于用戶的各類交互行為，模型都能夠實現精準的意圖識別。

而針對「數據荒漠」難題，Xmax AI 則搭建了虛實融合數據的合成管線，利用半自動化方式，低成本、批量化地生成了高質量的交互訓練數據，構建了難以復刻的行業壁壘。

體驗了這么多玩法，相信大家已經隱約感知到 Xmax AI 想做的事情了。如果說 Sora 代表的是一條極致強化生成能力的路線，讓 AI 學會拍電影、構圖、運鏡、敘事，那么 X1 則是希望 AI 能夠陪你玩，隨時出現在你周圍的生活場景中。

從這個角度來看，對于 Xmax AI 團隊而言，X1 模型僅僅是一個開始。

其實從前面 X1 的模型能力展現上也可以看出來，Xmax AI 不是想「再造」一個專業的視頻創作工具，開發一款 App，更是在試圖搭建下一代內容交互引擎，重新定義用戶與 AI 生成內容之間的個性化交互方式。

在他們的愿景里，這個新時代中，那些曾經只能存在于影視作品和虛擬世界中的角色，不管是數碼寶貝，還是銀翼殺手式的仿生生命體，都可以走進現實，成為虛實融合的「數字生命體」，進入家庭，成為用戶的虛擬陪伴、虛擬寵物等。

與此同時，「萬物可交互」也不再只是一個空想，不管是刷短視頻、看直播，還是視頻通話、線上會議，都可以實時改變視覺形態，一邊看一邊玩，帶來全新的個性化體驗；社交互動變得更立體、更有趣，攝像頭化身「精靈球」，隨時隨地「捕捉」一個好友過來，對 TA 進行打扮……

也就是說，Xmax AI 所做的，是通過 AI 將「幻想」拉得更近，近到可以觸碰、互動、分享，真正融入人們的日常生活。

正如 Xmax AI Slogan 所言，Play the World through AI（用 AI 玩轉世界），讓世界觸手可「玩」。

最后，感興趣的朋友可以通過 testflight 邀請鏈接下載 APP，下載后在登錄界面點擊申請邀請碼，也可以通過 Xmax AI 官網來提前體驗、感受這一切。這一次，你可以親自推開那扇通往虛實融合世界的「門」。

• testflight 邀請鏈接：https://testflight.apple.com/join/8sWgKZeQ
• Xmax AI官網鏈接：https://xmax.ai/

文中視頻鏈接：https://mp.weixin.qq.com/s/xnaOGvC5_EVYxsJYxVE_xQ