今年年初，OpenAI發(fā)布了自己的第一個(gè)Sora文字視頻模型，可以用文字指令生成1分鐘的超清視頻，隨后引起了廣泛關(guān)注和多方振動(dòng)。馬斯克覺(jué)得“人類(lèi)賭博認(rèn)輸”，很多人甚至大喊“導(dǎo)演后期會(huì)失業(yè)”。畢竟這種被稱(chēng)為“電影制作神器”的模式的出現(xiàn)，意味著每一個(gè)使用它的普通人都可能實(shí)現(xiàn)“導(dǎo)演夢(mèng)”。許多人已經(jīng)想象過(guò)，創(chuàng)意文案和腳本是由ChatGPT產(chǎn)生的，然后Sora從文本中產(chǎn)生華麗的幾分鐘廣告大片。

Sora一開(kāi)始并沒(méi)有對(duì)外開(kāi)放試用，直到最近幾周，Shyy來(lái)自加拿大。 作為為數(shù)不多的獲得Sora權(quán)限的制作團(tuán)隊(duì)之一，Kids團(tuán)隊(duì)試圖簡(jiǎn)單地用SORA代替相機(jī)，制作一部1分21秒的短片，也為大家揭開(kāi)了Sora的神秘面紗。

這部《Air Head》短片由3人制作，耗時(shí)近2周。說(shuō)到制作過(guò)程，他們不僅感嘆SORA的強(qiáng)大功能，還談到了制作背后的很多內(nèi)幕:真正的Sora每秒至少需要300倍的素材，OpenAI的科學(xué)家似乎完全沒(méi)有意識(shí)到視頻有拍攝技巧的需求。AI從文本上一鍵生成我們理想的大片仍然是一個(gè)美好的想象。

Shy Kids的深刻體驗(yàn)也證明了一個(gè)關(guān)鍵事實(shí)。當(dāng)Sora發(fā)布時(shí)，OpenAI似乎暗示這些樣本完全由SORA自稱(chēng)生成和制作，但實(shí)際上，無(wú)論是分鏡、編輯、配色、鏡頭還是特效，大家看到的樣本“買(mǎi)家秀”背后都包含了大量的人工專(zhuān)業(yè)制作，目前還不能用AI來(lái)代替。

AI仍然無(wú)法理解專(zhuān)業(yè)團(tuán)隊(duì)的分鏡。

Shy 作為加拿大的專(zhuān)業(yè)影視團(tuán)隊(duì)，Kids以其不拘一格、創(chuàng)新的媒體制作方法而聞名。他被稱(chēng)為“朋克搖滾皮克斯”，在藝術(shù)方面，他們的作品獲得了艾美獎(jiǎng)提名，并入選奧斯卡提名，但在商業(yè)化方面，他們?yōu)榈鲜磕?、奈飛、HBO等平臺(tái)制作了許多作品，在行業(yè)內(nèi)具有一定的知名度。

即使是這樣的專(zhuān)業(yè)團(tuán)隊(duì)，在使用Sora制作視頻的時(shí)候，也會(huì)發(fā)現(xiàn)一個(gè)大問(wèn)題——傳統(tǒng)的先寫(xiě)劇本，再開(kāi)始拍攝制作的過(guò)程在Sora上是行不通的。

這部電影的導(dǎo)演在介紹電影制作時(shí)提到，他們使用的Sora仍然是傳統(tǒng)的輸入本文生成視頻模式，并不支持許多大型模式已經(jīng)使用的多模式輸入。

這直接導(dǎo)致了一個(gè)尷尬的情節(jié)，因?yàn)镾ora不能給Sora看分鏡圖，Sora根本無(wú)法生成一個(gè)滿(mǎn)足攝影團(tuán)隊(duì)需求的連貫視頻，團(tuán)隊(duì)只能單獨(dú)生成視頻來(lái)拼接每一個(gè)分鏡。

然而，這里出現(xiàn)了第二個(gè)問(wèn)題。AI對(duì)事物的理解不如人類(lèi)。即使前一個(gè)鏡頭的材料完美滿(mǎn)足了導(dǎo)演的需求，同樣的元素在輸入同樣的需求之后，下一個(gè)片段仍然無(wú)法再現(xiàn)。

導(dǎo)演舉了一個(gè)例子：假設(shè)你要求Sora在廚房里拍一張桌子上有香蕉的長(zhǎng)鏡頭。在這種情況下，它會(huì)根據(jù)對(duì)“香蕉”概念的理解來(lái)制作視頻。通過(guò)訓(xùn)練數(shù)據(jù)，它“學(xué)習(xí)”了香蕉的各種要素：例如“黃色”、“彎折”、有深色尾端等等。但是它沒(méi)有實(shí)際記錄的香蕉圖像，也沒(méi)有類(lèi)似于“香蕉圖片庫(kù)”的數(shù)據(jù)庫(kù)。它只用關(guān)鍵詞生成它認(rèn)為的香蕉，這也導(dǎo)致每次生成的香蕉都無(wú)法保證固定，對(duì)長(zhǎng)視頻拍攝影響很大。

為保持最簡(jiǎn)單的一致性，團(tuán)隊(duì)不得不切割拼接各種Sora生成片段。

團(tuán)隊(duì)展示電影制作過(guò)程

以這個(gè)氣球人騎自行車(chē)的片段為例，因?yàn)槊看紊芍鹘球T自行車(chē)的畫(huà)面都無(wú)法保持統(tǒng)一，看似流暢的畫(huà)面其實(shí)是由三個(gè)畫(huà)面拼接而成的。

AI拍攝，消耗更多人力。

由于AI不能平穩(wěn)地生成一個(gè)固定的角色或道具，《Air Head》在制作過(guò)程中遇到了許多過(guò)去影視中不會(huì)遇到的問(wèn)題。

這部短片的主角是一個(gè)黃色的汽球作為頭部人物，因?yàn)锳I不能穩(wěn)定地產(chǎn)生這樣的角色。在這部1分21秒的作品中，幾乎每一秒都需要大量的后期調(diào)整來(lái)保證角色的統(tǒng)一。

針對(duì)這一情況，Shy kids決定大力創(chuàng)造奇跡，通過(guò)大量生成相關(guān)片段，選擇相對(duì)統(tǒng)一有用的部分來(lái)組成一部電影，這也讓團(tuán)隊(duì)原本想象的電影變成了類(lèi)似紀(jì)錄片的拼接和縫合。

負(fù)責(zé)后期團(tuán)隊(duì)的帕德里克說(shuō):“短片里有劇本，但團(tuán)隊(duì)需要隨機(jī)應(yīng)變?！薄拔抑皇堑玫搅撕芏噻R頭，并試圖以有趣的方式將其編輯成旁白?！?/p>

它透露，為了制作這部電影，每秒制作一部電影大約需要300倍的材料。

渲染這些原始材料已經(jīng)成為電影最耗時(shí)的部分之一。團(tuán)隊(duì)表示，每次獲得的材料長(zhǎng)度為3-20秒，但渲染時(shí)間需要10-20分鐘。

而且即便是渲染出最后選用的材料，仍然無(wú)法逃脫大量的后期人工加工。

Shy 根據(jù)Kids提供的信息，即使Sora每次都要求生成一個(gè)黃色氣球，Sora有時(shí)也會(huì)生成一個(gè)紅色氣球，因?yàn)闆](méi)有更合適的材料，后期團(tuán)隊(duì)只能用PS和AE把它涂成黃色。

成片(上)和SORA生成視頻原片(下)

而且有時(shí)候人臉會(huì)出現(xiàn)在汽球中，這就導(dǎo)致了大量的后期制作，包括分級(jí)、防老化、上采樣、去除不必要的元素。

人臉上出現(xiàn)了SORA產(chǎn)生的氣球人

OpenAI：拍攝手法叫什么？

除了需要大量的后期，負(fù)責(zé)這部電影后期制作AI電影最大的障礙帕德里克還提到了AI目前無(wú)法理解拍攝手法的缺點(diǎn)。

帕特里克說(shuō):對(duì)于很多文化視頻工具來(lái)說(shuō)，有用的信息來(lái)源是相機(jī)元數(shù)據(jù)。例如，如果需要照片訓(xùn)練(大模型)，相機(jī)元數(shù)據(jù)將為模型訓(xùn)練提供鏡頭尺寸、光圈值和許多其他重要信息。

然而，對(duì)于電影鏡頭來(lái)說(shuō)，“跟蹤”、“平移”、“傾斜”或“推動(dòng)”的想法不是相機(jī)信息中的冷數(shù)據(jù)，而是一個(gè)更抽象的概念。雖然目標(biāo)永恒(道具/人物需要在拍攝過(guò)程中持續(xù)存在)的制作在影視行業(yè)尤為重要，但拍攝手法也同樣重要，但目前的Sora不僅難以實(shí)現(xiàn)，甚至無(wú)法理解這個(gè)概念。

Shy Kids說(shuō)：“對(duì)于如何在電影場(chǎng)景中描述一個(gè)鏡頭，九個(gè)不同的人會(huì)有九種不同的想法。(OpenAI) 在讓藝術(shù)家使用這個(gè)工具之前，研究人員并沒(méi)有像電影制作人那樣真正思考。盡管Shy Kids團(tuán)隊(duì)知道他們感受到的Sora版本比較早，但他們?nèi)匀粚?duì)混亂的攝像頭座位和視角感到震驚。在團(tuán)隊(duì)眼里，他們已經(jīng)試圖在文本中強(qiáng)調(diào)固定座位或拍攝技術(shù)的概念，但他們不確定Sora是否無(wú)法理解他們的輸入方法，或者SORA是否完全沒(méi)有相關(guān)的概念。

現(xiàn)在SORA幾乎只有一個(gè)視角可以直接拍照。

在把這個(gè)問(wèn)題反饋給OpenAI之后，雙方都感到驚訝。與Shy相比， Kids團(tuán)隊(duì)，OpenAI的研究人員對(duì)文生視頻有這樣的需求感到震驚。這個(gè)回復(fù)讓Shy很震驚。 在SORA的發(fā)展中，Kids團(tuán)隊(duì)集體眼瞳地震，在他們眼里，司空見(jiàn)慣的認(rèn)知根本沒(méi)有被提及。

在Sora緊急更新相關(guān)代碼之后，Shy Kids對(duì)保持相同位置的功能的評(píng)價(jià)也“足夠了”。帕德里克說(shuō)，SORA目前可以生成10個(gè)視頻，6個(gè)視頻可以獲得相同的位置視角。

但他補(bǔ)充說(shuō)，值得注意的是，這并非一個(gè)獨(dú)特的問(wèn)題，大多數(shù)主要的文生視頻公司都面臨著類(lèi)似的問(wèn)題。Runway 雖然Runway的質(zhì)量和渲染剪輯的長(zhǎng)度不如Sora，但AI可能是提供描述攝像機(jī)運(yùn)動(dòng)UI的最先進(jìn)的。

對(duì)整個(gè)拍攝體驗(yàn)，Shy Kids團(tuán)隊(duì)表示，這是一次新穎而有價(jià)值的探索。他們認(rèn)為將Sora融入AE制作特效鏡頭是一個(gè)非常好的應(yīng)用嘗試，而不是直接通過(guò)Sora制作電影。

與此同時(shí)，他們還表示，目前的Sora仍然非常早期，不適合公開(kāi)發(fā)布。對(duì)于專(zhuān)業(yè)團(tuán)隊(duì)來(lái)說(shuō)，滿(mǎn)足導(dǎo)演的要求可能還有很長(zhǎng)的路要走。但是，對(duì)于普通人來(lái)說(shuō)，如果他們不在乎各種奇怪的BUG圖片，未來(lái)需要大量的后期修復(fù)，Sora可能會(huì)讓普通人充分使用。

本文來(lái)自微信微信官方賬號(hào)“觀網(wǎng)財(cái)經(jīng)”（ID:tiequanhe），作家：陳濟(jì)深，編輯：張廣凱，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com