IT 世家 6 月 4 科技媒體日新聞 The Decoder 昨日（6 月 3 日本)發(fā)布博文，報(bào)道稱谷歌 DeepMind 團(tuán)隊(duì)與布朗大學(xué)合作，開發(fā)視頻生成模型“力提醒”（force prompting）技術(shù)，可以在不需要的時(shí)候 3D 在模型或游戲引擎的情況下，產(chǎn)生逼真的運(yùn)動(dòng)效果。

使用者只需指定力的方向和強(qiáng)度，就可以控制 AI 生成的視頻內(nèi)容，該技術(shù)支持兩種力量:全局力量(如風(fēng)吹過整個(gè)畫面)和局部力量(如特定點(diǎn)敲擊)。這些力通過矢量場輸入系統(tǒng)，然后轉(zhuǎn)化為自然流暢的運(yùn)動(dòng)。

基于研究團(tuán)隊(duì) CogVideoX-5B-I2V 錄像模型，加入 ControlNet 通過模塊處理物理控制參數(shù)，信號(hào) Transformer 結(jié)構(gòu)生成視頻，每個(gè)視頻包括 49 幀，只用 4 臺(tái) Nvidia A100 GPU 每天完成訓(xùn)練。

訓(xùn)練數(shù)據(jù)完全生成：全局力數(shù)據(jù)包括 1.5 萬段不同風(fēng)速下旗飄動(dòng)的視頻； 1.2 萬段滾動(dòng)球和 1.1 視頻中，萬段花瓣受到?jīng)_擊反應(yīng)。

在生成過程中，在文本描述中加入“風(fēng)”或“氣泡”等物理術(shù)語后，模型會(huì)自動(dòng)建立正確的力與運(yùn)動(dòng)的關(guān)系。訓(xùn)練樣本通過隨機(jī)背景、光線和角度增加多樣性，結(jié)合文本提醒、起始圖像和物理力(全局力是完整的矢量場，局部力是方向、位置和強(qiáng)度的動(dòng)態(tài)信號(hào))。

雖然訓(xùn)練數(shù)據(jù)有限，但模型表現(xiàn)出強(qiáng)大的泛化能力，適應(yīng)新物體、材料和場景，甚至掌握簡單的物理規(guī)則。例如，在相同的力量下，輕物體的移動(dòng)距離遠(yuǎn)于重物。

在用戶測試中，“力提醒”技術(shù)在運(yùn)動(dòng)匹配度和真實(shí)性方面優(yōu)于純文本或運(yùn)動(dòng)路徑控制的基準(zhǔn)模型，甚至超越了依賴真實(shí)物理模擬的基準(zhǔn)模型。 PhysDreamer(僅在圖像質(zhì)量上稍遜一籌)。但是，在復(fù)雜的場景中仍然存在缺陷，例如煙霧有時(shí)忽略風(fēng)速，身體的手臂偶爾會(huì)像織物一樣移動(dòng)。

DeepMind CEO Demis Hassabis 近來說，新一代 AI 視頻模型(如 Veo 3)我們正在逐漸理解物理規(guī)則，開始表征世界的物理結(jié)構(gòu)，而不是局限于文本或圖像處理。他認(rèn)為這更通用。 AI 關(guān)鍵的一步，未來 AI 也許不再僅僅依靠數(shù)據(jù)，而是可以通過模擬環(huán)境中的經(jīng)驗(yàn)來學(xué)習(xí)。

IT 這個(gè)家庭還附有一個(gè)參考地址

Force Prompting: Video Generation Models Can Learn and Generalize Physics-based Control Signals 論文

Force Prompting: Video Generation Models Can Learn and Generalize Physics-based Control Signals GitHub 頁面

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com