![]()
智東西
作者 江宇
編輯 漠影
大廠AI戰(zhàn)局升溫,轉(zhuǎn)型幾乎成為共識(shí)。模型在進(jìn)化,Agent在落地,但成本高、落地難、數(shù)據(jù)不夠,行業(yè)還在補(bǔ)課。
而京東在AI上的布局已然聚焦清晰:圍繞供應(yīng)鏈優(yōu)勢(shì),推進(jìn)具身智能,讓AI真正進(jìn)入物理世界。此次推出的一體化圖像模型——JoyAI-Image-Edit,高度適用于生成電商、具身智能訓(xùn)練圖片。
近日,京東開(kāi)源圖像模型JoyAI-Image-Edit,將空間智能納入圖像理解與編輯,讓AI開(kāi)始處理真實(shí)世界中的空間關(guān)系,讓模型真正“理解空間,編輯空間”。
簡(jiǎn)單解釋?zhuān)@是一個(gè)以空間智能為核心的圖像生成與編輯模型,讓AI真正“看懂”三維空間,從而讓生成更合理、編輯更精準(zhǔn)。
![]()
從公開(kāi)評(píng)測(cè)來(lái)看,JoyAI-Image-Edit各項(xiàng)指標(biāo)顯著領(lǐng)先,邁進(jìn)了國(guó)際第一梯隊(duì):空間理解刷新同量級(jí)開(kāi)源模型SOTA,達(dá)到世界一流水平,大部分指標(biāo)媲美或超越閉源模型 Gemini 2.5 Pro。長(zhǎng)文本生成中英文雙語(yǔ)領(lǐng)先,圖像編輯能力全面覆蓋,空間編輯精度甚至超過(guò)部分視頻世界模型。
![]()
智東西也實(shí)測(cè)了一番,在物體位置調(diào)整這類(lèi)場(chǎng)景中,模型能夠穩(wěn)定保持結(jié)構(gòu)一致性。
值得注意的是,此番調(diào)整的物體在畫(huà)幅中僅占據(jù)很小比例,且原物體并非形狀規(guī)則,為毛絨材質(zhì),并帶有手部細(xì)節(jié)。即便如此,模型在移動(dòng)或旋轉(zhuǎn)時(shí)仍能有效減少透視錯(cuò)亂與遮擋問(wèn)題,畫(huà)面整體保持自然。
![]()
▲輸入圖與指令(左)、輸出圖(右)
進(jìn)一步看,這類(lèi)能力的主要落點(diǎn),在電商內(nèi)容生產(chǎn)與具身智能訓(xùn)練這兩類(lèi)場(chǎng)景尤為適配,進(jìn)而也能延展到建筑設(shè)計(jì)、游戲開(kāi)發(fā)和影視制作等場(chǎng)景。電商和具身,恰好與京東現(xiàn)有的AI布局形成了直接呼應(yīng)。
一、把“空間智能”寫(xiě)進(jìn)模型:從“會(huì)改圖”到“會(huì)動(dòng)空間”,圖像編輯能力開(kāi)始分層
傳統(tǒng)圖像編輯模型的短板集中在空間層。語(yǔ)義能跟上,但空間關(guān)系容易崩,例如替換物體、修改姿態(tài)時(shí),常出現(xiàn)比例失真、遮擋錯(cuò)誤、光影不一致等問(wèn)題,本質(zhì)是缺乏幾何層面的理解能力。
JoyAI-Image-Edit則把“空間編輯”單獨(dú)拉出來(lái)做能力核心。模型在支持15類(lèi)通用編輯任務(wù)之外,進(jìn)一步支持物體移動(dòng)、旋轉(zhuǎn)、視角變換等空間級(jí)操作,并可理解“移動(dòng)0.3米”“旋轉(zhuǎn)45度”等具備明確幾何參數(shù)的指令,讓編輯過(guò)程具備“可控性”。
![]()
在能力結(jié)構(gòu)上,模型還采用MLLM+VAE+擴(kuò)散模型(MMDiT)的統(tǒng)一架構(gòu)。
![]()
具體來(lái)說(shuō),MLLM負(fù)責(zé)空間理解與語(yǔ)義建模,擴(kuò)散模型執(zhí)行生成與編輯,空間信息直接參與生成過(guò)程,形成“理解—生成—再理解”的循環(huán)。
空間能力是怎么提升起來(lái)的?答案在于數(shù)據(jù)體系的重構(gòu)——包括300萬(wàn)規(guī)模的OpenSpatial-3M數(shù)據(jù)集、多視角生成數(shù)據(jù),以及可記錄精確位姿參數(shù)的空間編輯數(shù)據(jù)。這些數(shù)據(jù)引導(dǎo)模型在訓(xùn)練階段學(xué)習(xí)真實(shí)幾何關(guān)系。
![]()
得益于這種設(shè)計(jì),在2D語(yǔ)義感知、3D空間理解、4D時(shí)空推理三個(gè)層級(jí)共13項(xiàng)Benchmark上,JoyAI-Image-Edit在9項(xiàng)空間理解Benchmark上均取得顯著提升,平均分達(dá)到64.4,追平閉源的Gemini-2.5-Pro。
![]()
在SpatialEdit-Bench上,JoyAI-Image-Edit的空間編輯能力表現(xiàn)尤為突出:Object Overall Score為0.649、Camera Overall Score為0.571,大幅領(lǐng)先所有圖像編輯模型,空間編輯精度超越Veo3.1、ViduQ2-Turbo和Kling等視頻世界模型。
與此同時(shí),在業(yè)界權(quán)威的榜單GEdit(偏向中文指令評(píng)測(cè)和真實(shí)用戶(hù)需求)和ImgEdit(偏向全面覆蓋的能力評(píng)測(cè),強(qiáng)調(diào)推理和精細(xì)化編輯能力)上,JoyAI-Image-Edit得分分別為8.27和4.57,刷新開(kāi)源圖像編輯模型SOTA。
![]()
▲在249道評(píng)測(cè)集黑盒人工評(píng)測(cè)成績(jī):JoyAI-Image-Edit表現(xiàn)優(yōu)于Qwen-Image-Edit-2511以及Flux2.Dev
![]()
由此可見(jiàn),將空間理解、生成和編輯整合在同一體系,可以使模型不僅知道“畫(huà)什么”,還知道“物體在什么位置、如何變化、是否合理”。
當(dāng)圖像可以被真正“操作”,而不只是簡(jiǎn)單修改時(shí),圖像模型的能力邊界也隨之被重新定義。
二、電商+具身場(chǎng)景高可用,空間能力開(kāi)始直接“變現(xiàn)”
空間能力成立以后,最先吃到紅利的,就是最依賴(lài)“真實(shí)世界”的場(chǎng)景。
在電商領(lǐng)域,商品多視角生成、虛擬試衣、商品擺位調(diào)整等任務(wù)對(duì)空間一致性要求極高。
JoyAI-Image-Edit的空間編輯能力——可以移動(dòng)物體、旋轉(zhuǎn)角度、調(diào)整視角,并理解具體幾何參數(shù)——在電商場(chǎng)景下帶來(lái)了非常直觀的應(yīng)用價(jià)值。
比如服飾和鞋類(lèi)商品,經(jīng)常需要展示不同角度、姿態(tài)或搭配組合。使用該模型,可以在原始圖片基礎(chǔ)上一鍵調(diào)整衣服折疊角度、鞋子擺放方向或包包手持位置,生成多角度素材,同時(shí)保持整體比例、光影和背景一致。
![]()
▲輸入圖(左)、輸出圖(右)、指令:Rotate the sneaker to show the front view
類(lèi)似地,對(duì)于家電、家具或小型電子產(chǎn)品,空間編輯可讓商品在不同場(chǎng)景下“自動(dòng)換位”或旋轉(zhuǎn)展示,如沙發(fā)在不同房間角度、咖啡機(jī)在不同臺(tái)面布局,無(wú)需重拍,就能生成多角度素材。
![]()
結(jié)合模型的通用編輯能力,還可以同時(shí)進(jìn)行文字標(biāo)注、色彩微調(diào)和背景修飾等“一鍵精修”式功能,實(shí)現(xiàn)一次操作完成多種需求。
![]()
這樣,電商團(tuán)隊(duì)能夠快速產(chǎn)出多角度、精修、高可用的商品圖,大幅降低拍攝成本,同時(shí)保證展示效果的統(tǒng)一。
在具身智能訓(xùn)練中,這些能力同樣適用。
機(jī)器人依賴(lài)大量真實(shí)世界數(shù)據(jù),但采集成本高、周期長(zhǎng)。該模型可以生成具備空間一致性的高質(zhì)量圖像數(shù)據(jù),用于補(bǔ)充訓(xùn)練數(shù)據(jù),與真實(shí)采集數(shù)據(jù)形成互補(bǔ),從而提高訓(xùn)練效率和模型效果,輔助解決具身行業(yè)的數(shù)據(jù)難題。
此外,通過(guò)生成新視角輔助空間推理(Thinking with Novel Views),模型不僅用于內(nèi)容生產(chǎn),也能反向提升空間理解能力,為機(jī)器人“看懂世界”提供支持。
![]()
由此可見(jiàn),無(wú)論是電商還是具身智能,本質(zhì)都依賴(lài)空間理解能力,而JoyAI-Image-Edit正是最直接落地的工具。
三、開(kāi)源模型亮相,AI全景布局浮現(xiàn)端倪
這次開(kāi)源JoyAI-Image-Edit顯然是京東聚焦于走向?qū)嶓w世界這一宏大AI布局的一部分,但通過(guò)觀察可以發(fā)現(xiàn),開(kāi)源并不是它唯一的動(dòng)作。
除了這一模型,京東不久前還開(kāi)源了JoyAI-LLM Flash模型,能力上在同等參數(shù)規(guī)模下顯著提升了性能與效率,降低開(kāi)發(fā)者使用門(mén)檻,避免單純的參數(shù)規(guī)模競(jìng)爭(zhēng)。
與此同時(shí),京東在供應(yīng)鏈和線下場(chǎng)景中的動(dòng)作也在悄然推進(jìn):一方面,建設(shè)全球最大的具身智能數(shù)據(jù)采集中心,結(jié)合模型生成能力進(jìn)行訓(xùn)練,為數(shù)據(jù)難題提供了新的解法;另一方面,通過(guò)JoyInside將AI能力嵌入家電、機(jī)器人、AI玩具終端,讓模型直接落地真實(shí)環(huán)境,和用戶(hù)產(chǎn)生大量深度交互。
從開(kāi)源模型的應(yīng)用和這些場(chǎng)景動(dòng)作結(jié)合來(lái)看,可以明顯感受到京東在模型、數(shù)據(jù)和終端之間嘗試形成閉環(huán)。
開(kāi)源或許只是早期的一步,而京東在產(chǎn)業(yè)場(chǎng)景中不斷深挖AI實(shí)踐與價(jià)值,則讓我們得以觀察到其AI能力的潛在落地路徑。
結(jié)語(yǔ):京東一手開(kāi)源,一手落地
從JoyAI-Image-Edit這次開(kāi)源動(dòng)作可以看到,京東在AI上的選擇很明確:一手開(kāi)源,一手落地。
在模型側(cè),持續(xù)開(kāi)放能力,把門(mén)檻降下來(lái),讓更多開(kāi)發(fā)者可以直接用起來(lái);在場(chǎng)景側(cè),把AI嵌入供應(yīng)鏈、物理世界、真實(shí)產(chǎn)業(yè)場(chǎng)景,從數(shù)據(jù)、模型到終端形成閉環(huán),讓能力在真實(shí)環(huán)境中跑通。
可見(jiàn),京東的AI戰(zhàn)略更為務(wù)實(shí)。
供應(yīng)鏈?zhǔn)蔷〇|最硬的一張牌。在AI時(shí)代,這張牌的價(jià)值進(jìn)一步放大——模型可以嵌入商品、物流與設(shè)備,數(shù)據(jù)可以持續(xù)回流,能力可以不斷迭代。
在今天,AI有望成為京東的另一張“增長(zhǎng)引擎牌”。
注:文中部分輸入圖來(lái)源于Arena
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.