字節(jié)模型更新！最新OmniHuman數(shù)字人模型即將上線即夢

字節(jié)跳動的模型又上新了！

這兩天「四木相對論」發(fā)現(xiàn)，即夢AI在官方社交媒體上發(fā)布了一條預(yù)告片。預(yù)告片中的信息顯示，采用了全新的多模態(tài)視頻生成模型OmniHuman馬上要在即夢中上線。

效果聽起來也是有點(diǎn)炸裂——有了這個模型，用戶僅需輸入一張圖片和一段音頻，就可以生成一條生動的視頻。

圖片來自即夢AI視頻號內(nèi)容截圖

圖片來自即夢AI視頻號內(nèi)容截圖

一段音頻+一張圖片，生成風(fēng)格靈活的視頻

OmniHuman的技術(shù)報告（地址：https://omnihuman-lab.github.io/）展示了它的各種效果。

技術(shù)主頁信息顯示，OmniHuman為字節(jié)跳動自研的閉源模型，能夠支持肖像、半身以及全身等不同尺寸的圖片輸入，并根據(jù)輸入的音頻，在視頻中讓人物生成與之匹配的動作，包括演講、唱歌、樂器演奏以及移動。

唱歌

演講

其他的case展示出，人物視頻生成中常見的手勢崩壞，也有顯著的改善。此外，它對動漫、3D卡通等非真人圖片輸入的支持效果也不錯，生成的視頻能保持特定風(fēng)格和原有的運(yùn)動模式。

動漫風(fēng)

整體來看，OmniHuman的生成效果已經(jīng)具有較高的自然度。

更安全的使用方式

有一些出乎意料的是，為防止該項技術(shù)被不當(dāng)利用，字節(jié)跳動技術(shù)團(tuán)隊在主頁中特別標(biāo)注稱，OmniHuman將不會對外提供下載。

技術(shù)報告

看來只能蹲一波即夢了。

即夢AI的相關(guān)負(fù)責(zé)人透露，這個模型目前已具備較好的表現(xiàn)，但在生成影視真實(shí)級別的視頻上仍存在一定提升空間。

所以，由即夢支持的多模態(tài)視頻生成功能，會在即夢上以小范圍內(nèi)測的形式進(jìn)行調(diào)優(yōu)調(diào)整，并逐步開放。

該負(fù)責(zé)人同時表示，即夢還會對這一功能設(shè)置嚴(yán)格的安全審核機(jī)制，并且對輸出的視頻標(biāo)注水印以作提醒，確保AI發(fā)揮正面、積極的作用，助力視頻創(chuàng)作者更好地實(shí)現(xiàn)想象力的表達(dá)。