又一視頻生成模型刷屏！名副其實(shí)？

   Sora爆火后，谷歌重磅官宣Genie。

   據(jù)谷歌官網(wǎng)，Genie擁有110億參數(shù)，能夠用一張圖片、草圖合成可操控的虛擬世界。

   Genie到底是什么？與Sora相比，兩者有何異同？世界模擬器又是什么？據(jù)此，第一財(cái)經(jīng)、藍(lán)鯨財(cái)經(jīng)進(jìn)行了相關(guān)報(bào)道。

   以下是報(bào)道全文。（請(qǐng)點(diǎn)擊查看原文）

   “Sora熱”未退，新一款視頻生成模型——Genie強(qiáng)勢(shì)來襲。

   2月26日，谷歌Deep Mind團(tuán)隊(duì)發(fā)布基礎(chǔ)世界模型Genie，一個(gè)虛擬生成的可交互環(huán)境，110 億參數(shù)，通過給模型投喂視頻數(shù)據(jù)進(jìn)行訓(xùn)練，生成照片、草圖甚至可以操控的虛擬世界。

   這意味著，僅靠一張圖片，Genie便能開啟無限世界的大門。

   很多人表示：谷歌又來領(lǐng)導(dǎo) AI 技術(shù)了。

   但，這只是 AI 技術(shù)的新突破嗎？事情真的這么簡(jiǎn)單嗎？

   1 Genie是什么？

圖片來源：視覺中國(guó)

   據(jù)谷歌介紹，Genie是一個(gè)110億參數(shù)的基礎(chǔ)世界模型，能從互聯(lián)網(wǎng)視頻中學(xué)習(xí)顆粒度的控制，不僅能了解哪些部分是可控的，還能推斷出生成的環(huán)境中的潛在動(dòng)作。

   它由三部分組成：一個(gè)簡(jiǎn)單且可擴(kuò)展的潛在動(dòng)作模型推斷每對(duì)幀之間的潛在動(dòng)作、一個(gè)視頻分詞器將原始視頻幀轉(zhuǎn)換為離散標(biāo)志（token），以及一個(gè)動(dòng)態(tài)模型，在給定潛在動(dòng)作和過去幀token的情況下預(yù)測(cè)下一幀。

   根據(jù)藍(lán)鯨財(cái)經(jīng)記者觀察，這是指當(dāng)給Genie提供不同的圖像（類似不同版本的馬里奧通關(guān)環(huán)境）時(shí)，圖像中的小人能在遇到障礙時(shí)表現(xiàn)出同樣的彈跳、躲避障礙的動(dòng)作，且符合物理規(guī)律，但這些視頻非常卡通化。

   官網(wǎng)也表示：“我們專注于 2D 平臺(tái)游戲和機(jī)器人技術(shù)的視頻，但我們的方法是通用的，應(yīng)該適用于任何類型的領(lǐng)域，并且可以擴(kuò)展到更大的互聯(lián)網(wǎng)數(shù)據(jù)集。”

Genie生成的視頻截圖。圖片來源：Google Genie官網(wǎng)

   在官網(wǎng)上，Genie也生成了模擬機(jī)器人動(dòng)作的視頻。Genie團(tuán)隊(duì)訓(xùn)練了一個(gè)較小的 2.5B 模型，與游戲平臺(tái)的情況一樣，具有相同潛在動(dòng)作序列的軌跡通常會(huì)表現(xiàn)出相似的行為。這表明 Genie 能夠?qū)W習(xí)符合一貫規(guī)律的動(dòng)作空間，可能適合訓(xùn)練多面手智能體（機(jī)械臂）。Genie 還可以模擬可以變形的物體。

Genie生成的機(jī)械臂視頻截圖。圖片來源：Google Genie官網(wǎng)

   2 Sora、Genie誰更牛？

   與競(jìng)爭(zhēng)對(duì)手OpenAI兩周前火遍全球的文生視頻模型Sora相同，Genie同樣是一個(gè)“物理世界模擬器”，能夠在虛擬世界中做物理世界的實(shí)驗(yàn)。不同的是，Sora是直接從文字生成視頻，這更加“大力出奇跡”，且生成視頻長(zhǎng)度可達(dá)一分鐘；而Genie從目前官網(wǎng)披露的情況看，大部分情況下需要先用文生圖模型來生成起始幀圖片，再用Genie 生成視頻，且視頻在一兩秒左右，更像是動(dòng)圖。

   且與Sora呈現(xiàn)出來的高清晰度、高真實(shí)度相比，Genie似乎不那么強(qiáng)調(diào)畫面真實(shí)性，而是將重點(diǎn)放在潛在動(dòng)作預(yù)測(cè)上。生成高真實(shí)度的視頻并非目前Genie的著力點(diǎn)。

   “Genie的獨(dú)特之處在于它能夠?qū)ｉT從互聯(lián)網(wǎng)視頻中學(xué)習(xí)細(xì)顆粒度的控制。這是一個(gè)挑戰(zhàn)，因?yàn)榛ヂ?lián)網(wǎng)視頻通常不會(huì)標(biāo)注其正在執(zhí)行哪個(gè)動(dòng)作、應(yīng)該控制圖像中的哪一部分。Genie不僅了解觀察的哪些部分是可控制的，而且能根據(jù)生成的環(huán)境來推測(cè)出多種潛在的動(dòng)作。請(qǐng)注意相同的潛在操作如何在不同的提示圖像下產(chǎn)生相似的行為。”

   據(jù)了解，動(dòng)作可控是目前AI視頻的一個(gè)難點(diǎn)，有創(chuàng)作者告訴第一財(cái)經(jīng)記者，PIKA等視頻生成工具多是做視差動(dòng)畫，看上去動(dòng)了，但運(yùn)動(dòng)合理性還有很大改進(jìn)空間，大幅度運(yùn)動(dòng)、人物對(duì)話較難實(shí)現(xiàn)。一段長(zhǎng)視頻要具備劇情，還保持在同一個(gè)風(fēng)格里，AI很難做到，Sora通過多鏡頭巧妙地規(guī)避了這個(gè)問題，但還不能確認(rèn)解決了問題。從這個(gè)角度看，AI理解物理世界并控制物體動(dòng)作是一個(gè)重要方向。

   3 Sora、Genie的本質(zhì)是什么？

   如果只把Sora、Genie當(dāng)做生成視頻的影視工具，就大材小用了。

Sora生成的一個(gè)視頻中，跑步機(jī)倒著跑。圖片來源：OpenAI Sora官網(wǎng)

   Sora、Genie的本質(zhì)是“世界模擬器”，讓虛擬世界模仿現(xiàn)實(shí)物理世界的各種屬性（重力、摩擦力、動(dòng)能、光、聲、電、材料、生物等等），在虛擬世界中操控物體動(dòng)作，在仿真的物理?xiàng)l件下來做實(shí)驗(yàn)。

   Sora此前發(fā)布視頻中的金毛犬、吹蠟燭的老太太、冰川上的猛犸象等，都是Sora通過視頻數(shù)據(jù)集來“理解”現(xiàn)實(shí)世界是如何構(gòu)成的、有什么物理規(guī)律、人類有怎樣的行為，來模擬生成的。所以，Sora自行理解提煉的模擬世界中的規(guī)律也可能不符合現(xiàn)實(shí)物理世界，比如老太太吹不滅蠟燭、人在跑步機(jī)上倒著走、籃球直接穿籃而過等等。

   世界存在龐大的信息量，我們需要開發(fā)出能夠分析并理解這些海量數(shù)據(jù)的模型和算法，生成模型是朝向這個(gè)目標(biāo)邁進(jìn)的最有希望的方法之一。世界模型的一個(gè)好處或許在于，人類可以把需要試錯(cuò)的部分放在虛擬世界中進(jìn)行。

   在谷歌發(fā)布的Genie之前，有不少視頻生成模型在全球火爆。2023年12月底，Pika Labs推出Pika 1.0，生成視頻長(zhǎng)度在3秒左右，以單鏡頭為主。Runway視頻模型于2023年2月發(fā)布，支持最多18s視頻生成，鏡頭相對(duì)固定。2024年2月16日，全球明星AI創(chuàng)業(yè)公司OpenAI發(fā)布文生視頻模型Sora，有精細(xì)的畫質(zhì)、多鏡頭拍攝、多角度運(yùn)鏡，對(duì)于真實(shí)人類世界的模擬度極高。