剛剛玩過Pika 2.0這個(gè)“最好的免費(fèi)AI視頻生成工具”之后，網(wǎng)友們又有了新的樂趣。

昨天晚上，我在微博上看到了設(shè)計(jì)師@Simon_阿文 Po制作了一組AI制作的照片。本來他想讓這個(gè)名字“難堪”Dream Machine”大模型，但是…小丑張嘴說話，旋轉(zhuǎn)木馬開始旋轉(zhuǎn)，獨(dú)角獸開始飛奔，po主大叫“我瘋了”。

▲靜幀生成“馬戲團(tuán)”視頻(來源：Simon_阿文）

我也很驚訝，這絕對(duì)是迄今為止的第一個(gè)。可以將風(fēng)格化圖片轉(zhuǎn)化為合理的視頻模型。。(風(fēng)格化是一種模擬真實(shí)藝術(shù)手法的創(chuàng)作方法，具有繪畫或印象派的作用，不注重寫實(shí)。)

Dream MachineLuma(造夢(mèng)機(jī))是2021年成立的。 昨天AI免費(fèi)開放的視頻生成了一個(gè)大模型，這家公司在A輪B輪中都獲得了英偉達(dá)的投資。Luma 120幀圖像(5秒視頻)可在120秒內(nèi)生成AI模型。

就官網(wǎng)效果視頻而言，“人閉上眼睛，在水下呼吸”、"北極熊懶洋洋地在雪野里爬行"、“房間瞬間爆炸”…動(dòng)感，真實(shí)，流暢，甚至有一些故事的延伸感！

▲Luma.官方視頻效果AI

全球互聯(lián)網(wǎng)的熱情突然被點(diǎn)燃，大量用戶涌入Luma AI網(wǎng)站，即使是今天早上我試用的時(shí)候，也會(huì)排隊(duì)。我承認(rèn)，Luma AI生成模型終于可以使用了。雖然視頻幀率遠(yuǎn)不如Sora，但細(xì)節(jié)上還是有很多問題，但是比Pika半年推出的模型有了很大的進(jìn)步。

01 實(shí)測(cè)：風(fēng)格化感染力好，但是畫質(zhì)太有問題。

Luma AI造夢(mèng)機(jī)的大模型使用起來很簡(jiǎn)單，只要登錄官網(wǎng)，（https://lumalabs.ai/dream-machine）注冊(cè)后，通過輸入文字提示詞，等待2分鐘左右，即可獲得5秒的視頻。

我先后把一些風(fēng)景照片，影視截圖，Coser高清照片等等投給Luma AI，120s的時(shí)間不長(zhǎng)。如果能忍受偶爾的卡屏，模型可以消化各種風(fēng)格，拿出一些生動(dòng)有趣的“電影級(jí)”畫面。

第一，這個(gè)模型對(duì)于提示詞的要求很低，即使你說“把圖片變成視頻”，Luma AI也可以自由發(fā)揮。比如我把電影《教父》的場(chǎng)景給模型，你能想象AI會(huì)如何“繼續(xù)寫作”嗎？視頻中，老教父站了起來，旁邊的侍從一臉凝重地抓住了他。這張照片讓人遐想，仿佛在暴風(fēng)雨前準(zhǔn)備出發(fā)。

▲影片《教父》生成視頻

一直以來，大家對(duì)圖片視頻模型的印象大概是超現(xiàn)實(shí)還可以，但是風(fēng)格化表現(xiàn)極差。這一次，Luma 但是AI的表現(xiàn)確實(shí)不同。

相對(duì)而言，文字視頻的效果會(huì)更差一些。。我直接使用Luma AI給出的參考文本生成視頻，可以看到視頻中的熊突然跳到空地上，然后對(duì)一個(gè)不斷變形的吉它使出了“無影爪”...運(yùn)動(dòng)范圍不是很流暢。

▲文字“一只戴著墨鏡的泰迪熊在美麗的瀑布前的叢林里，彈著電吉他，跳著舞，搖著頭。”生成視頻

我承認(rèn)，Luma AI在做畫面補(bǔ)充方面有一手，但是還是會(huì)在這一點(diǎn)上翻車，出現(xiàn)完全不符合內(nèi)容邏輯的情況。。比如我把《楚門的世界》結(jié)尾的經(jīng)典微笑畫面交給了大模型，視頻中閃現(xiàn)了兩個(gè)被“楚門”包圍的場(chǎng)景，太離譜了！不知道AI從哪里學(xué)到了第二張圖片，有一種可恨的熟悉感。

▲影片《楚門的世界》生成了一段視頻，提示詞是“這個(gè)人笑得很開心，揮手告別的畫面”

此外，了解物理世界對(duì)Luma來說 AI仍然是一個(gè)沒有解決的問題。當(dāng)一位網(wǎng)友把Sheldon在美劇《生活大爆炸》中的劇照投給Dream時(shí)。 Machine，Sheldon在視頻生成中的動(dòng)作細(xì)節(jié)與物理不符。這是AI視頻生成的一個(gè)老問題。

▲Sheldon在《生活大爆炸》中生成了視頻

最嚴(yán)重的問題實(shí)際上是畫質(zhì)。Luma AI生成視頻的粒子效果是可以接受的，但本來并不難，但是低視頻幀率，想必是一般的計(jì)算能力，圖像紋理和材料差，大部分都是低渲染材料，細(xì)節(jié)表現(xiàn)失真。

這個(gè)問題也讓我很困惑，Luma 為什么AI畫面的逼真度比Sora差那么多？Luma AI模型校準(zhǔn)為2分鐘120幀。為了保證導(dǎo)出率，圖片質(zhì)量會(huì)比較低，渲染速度快的時(shí)候會(huì)有低渲染材料。然后，如果我們嘗試分辨率稍低的材料，例如，如果我使用電影《五星大鼠》，效果可能會(huì)...或者不太好。

▲影片《五星大鼠》生成視頻

總的來說，Luma.AI表現(xiàn)的最佳部分是運(yùn)動(dòng)平滑度、運(yùn)動(dòng)水平，它還具有一定的內(nèi)容感染力。，例如，可以在5s視頻中添加與風(fēng)格和內(nèi)容一致的動(dòng)態(tài)圖片。圖片不僅僅是動(dòng)作順暢，還比之前更加有趣，更加講故事。

盡管運(yùn)動(dòng)和內(nèi)容具有良好的感染力，Luma.AI也坦率地承認(rèn)，目前模型存在。重現(xiàn)自然動(dòng)作、變形效果和文本一些困難。但我認(rèn)為，成像質(zhì)量就是Luma。.AI最大的問題，視頻幀率很低，畫面紋理和材料經(jīng)不起仔細(xì)觀看，細(xì)節(jié)失真。

▲Luma.AI評(píng)分(來源：烏鴉智能說)

人類構(gòu)圖首先學(xué)習(xí)的是物理邏輯，AI的學(xué)習(xí)路徑大不相同。無論是Sora的屏幕視頻中有很多錯(cuò)誤，還是Luma 各種“自爆”還需要改進(jìn)的問題，目前我在表達(dá)Luma大模型的同時(shí)，也意識(shí)到模擬現(xiàn)實(shí)世界還需要沖關(guān)。

02 圖片幾乎無法使用，實(shí)際價(jià)值需要解決

除生成效果外，視頻生成長(zhǎng)度(約5s)、商品易得性(完全免費(fèi))也是Luma AI模型的亮點(diǎn)。

要知道OpenAI“重彈”Sora雖然可以根據(jù)提示生成1分鐘的視頻，但是還沒有開發(fā)出第一個(gè)測(cè)試。另外，開放的Pika、基于原創(chuàng)模型的Runway和PixVerse等文化視頻產(chǎn)品，生成視頻的長(zhǎng)度只有3-4秒，有些產(chǎn)品還有付費(fèi)門檻。

所以，Luma更容易獲得，完全免費(fèi)。 AI是否具有更實(shí)用的例子價(jià)值？

對(duì)于創(chuàng)意視頻生成，廣告創(chuàng)作，電影特效對(duì)于這個(gè)比較專業(yè)的例子，答案是：Luma AI不行，Sora也不行。江江影視從業(yè)者告訴烏鴉君，Luma AI生成視頻畫面質(zhì)量太低，很難使用。。今年二月，第一財(cái)經(jīng)的一篇報(bào)道還提到，一位紀(jì)實(shí)片從業(yè)者認(rèn)為Sora不能直接用于影視劇，因?yàn)榫?xì)度不夠。

Luma AI視頻工具對(duì)藝術(shù)表現(xiàn)這一塊也不一定打得通。。上面提到的設(shè)計(jì)師@Simon_阿文也開始反思AI對(duì)作品的第二次創(chuàng)作。他認(rèn)為產(chǎn)生的視頻導(dǎo)致了風(fēng)格偏差，因小失大?！氨热邕@只熊...感覺自己在工作室”。設(shè)計(jì)師的風(fēng)格暫時(shí)無法通過AI視頻進(jìn)行精細(xì)復(fù)制。

▲@Simon_阿文 在作品中，獅子突然變成了卡通版。

03 英偉達(dá)看好，開放玩法有效嗎？

AI生成視頻跑道如火如荼，金融市場(chǎng)也表現(xiàn)出對(duì)視頻生成領(lǐng)域的瘋狂。今年3月，三名中國人創(chuàng)建了AI視頻生成企業(yè)。（Haiper、愛詩科技、HeyGen）聚集在一起獲得融資，融資金額超過千萬美元。

Luma AI的融資過程也很順利，截至今年1月，Luma AI已經(jīng)籌集了超過7000萬美元。A輪融資2000萬美元，投資者包括Amplify Partners、英偉達(dá)、General Catalyst等。B輪融資4300萬美元，a16z領(lǐng)投，Anjey Midha、Amplify、Matrix、參與英偉達(dá)等。

Luma 推動(dòng)Dream的AI開放策略 Machine可以被所有人使用，這可能會(huì)使它在建立開發(fā)者和創(chuàng)作者社區(qū)方面具有顯著的優(yōu)勢(shì)。據(jù)悉，Luma AI計(jì)劃發(fā)布API和插件，將Dream Machine與流行的創(chuàng)意軟件集成，進(jìn)一步擴(kuò)大其影響力。

從另一個(gè)角度來看，Luma團(tuán)隊(duì)可能無法獲得足夠的信息訓(xùn)練，所以他們不得不打開它來收集數(shù)據(jù)。然而，更好的視頻生成項(xiàng)目可能不會(huì)打開，因?yàn)樗麄儞?dān)心垃圾數(shù)據(jù)會(huì)降低AI的實(shí)踐。

▲網(wǎng)站支持模型中Luma存在的問題

04 結(jié)論：AI視頻生成正在普及

在過去，我們無法想象AI視頻可以像Sora一樣精細(xì)。、Luma這樣的程度，從文生文到文生視頻，圖生視頻，也只用了一年。Luma AI視頻的質(zhì)量令人驚嘆，但是現(xiàn)在，它們除了作為展示AI潛力的案例外，還需要觀察實(shí)際的落地價(jià)值。

Luma 等待AI生成視頻工具的開放和收費(fèi)，預(yù)示著AI視頻工具的商業(yè)化將會(huì)加快。影視從業(yè)者江江也告訴烏鴉君，從視頻制作人的角度來看，Ta認(rèn)為這將成為一件技術(shù)困難的事情，AI已經(jīng)突破或有突破的跡象。也許AI視頻生成普及到實(shí)際落地的那一天不會(huì)讓我們等太久。

本文來自微信微信官方賬號(hào)“烏鴉智能說”（ID:wuyazhinengshuo），作者：智能禿鷲，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com