AI視頻領(lǐng)域卷瘋了。

Luma導(dǎo)致的狂歡還沒有結(jié)束，AI視頻圈又來了一個(gè)挑戰(zhàn)者?！?/p>

Proteus由斯坦福大學(xué)團(tuán)隊(duì)制作。

據(jù)介紹，Proteus 這是一個(gè)低延遲的基本模型，能夠產(chǎn)生高度真實(shí)而富有感染力的人物形象。

例如，讓世界名畫中的主角——蒙娜麗莎或一個(gè)戴著珍珠耳環(huán)的女孩——肆無忌憚地笑，面部情緒自然流暢：

讓奧黛麗·赫本改變以往淑女的形象，玩嘻哈說唱：

也讓斯內(nèi)普教授在《哈利·波特》中演唱?！禗espacito》：

Proteus剛剛發(fā)布，一群大佬發(fā)來了?！纲R信」：

AI科學(xué)家賈揚(yáng)清稱贊，即時(shí)人工智能頭像質(zhì)量非常好。

Jim，英偉達(dá)科學(xué)家 Fan說，這個(gè)項(xiàng)目令人印象深刻。

Brian早期投資者Brian 根據(jù)Zhan的消息，目前AI視頻工具，如Runway和Pika，最大的問題是會(huì)產(chǎn)生幻覺，尤其是在生成包含人類的視頻時(shí)。而且Apparate 通過處理時(shí)間連接和對象恒定等問題，Labs將AI視頻生成進(jìn)入下一階段。

離譜！魯迅談到了繞口令

Proteus是人類實(shí)時(shí)表情生成的新一代基本模型。

要知道，即使是目前最先進(jìn)、最強(qiáng)大的生成模式，也無法完全實(shí)現(xiàn)人類表情的實(shí)時(shí)生成。

目前模型運(yùn)行緩慢，無法直觀控制生成人物復(fù)雜的面部情緒和身體動(dòng)作，在逼真性和感染力方面仍有所欠缺。

而且Proteus使用了最先進(jìn)的transformer 隨著架構(gòu)和算法的不斷優(yōu)化，Proteus可以實(shí)現(xiàn)每秒100幀以上(100幀)，其突破性的潛在空間設(shè)計(jì)保證了即時(shí)的高效率。 FPS）的視頻流。

也就是說，Proteus只需要一張簡單的照片，不僅可以模仿人類的笑聲、說唱、唱歌、眨眼、微笑和對話，還可以執(zhí)行更生動(dòng)的表情和動(dòng)作。

比方說，一向認(rèn)真的魯迅談到了繞口令：

或讓居里夫人清唱《Le Festin》：

或者給科學(xué)家開一個(gè)圓桌會(huì)議：

根據(jù)ProteusR&D部門的說法，他們希望Proteus能夠成為一種聲音可控的視覺化身，為人工智能對話實(shí)體提供一個(gè)直觀的交互界面，同時(shí)能夠與眾多模態(tài)大語言模型無縫適應(yīng)，為各種使用場景提供定制服務(wù)。

對于這一點(diǎn)，很多網(wǎng)友腦洞大開。——

「只要用愛因斯坦的數(shù)據(jù)微調(diào)大語言模型，再加上他生動(dòng)的面部情緒，偉大的愛因斯坦就可以成為教學(xué)助手，親自教物理課。從現(xiàn)在開始，青少年不用擔(dān)心學(xué)不好科學(xué)?！?/p>

也有網(wǎng)友表示，我愛死它，今年無疑是AI視頻的時(shí)候。

團(tuán)隊(duì)背后的底部

這個(gè)模型被大佬力捧，小而美， 后面是一個(gè)怎樣的團(tuán)隊(duì)？

根據(jù)官網(wǎng)的說法，這是斯坦福大學(xué)的Apparate。 開發(fā)了Labs。

現(xiàn)在這個(gè)團(tuán)隊(duì)只有6個(gè)人，從名字和照片來看，有3個(gè)人是中國人。

沈博魁，CEO兼創(chuàng)始人（William Shen）斯坦福大學(xué)計(jì)算機(jī)科學(xué)系博士學(xué)位，著名教授Silvioo Savarese和Leonidas J. Guibas共同指導(dǎo)。

他的研究包括計(jì)算機(jī)視覺、機(jī)器人學(xué)、圖形學(xué)、生成模型和具體智能在內(nèi)的許多領(lǐng)域。他的論文獲得了許多獎(jiǎng)項(xiàng)，例如IEEE-CVPR獲得了最佳論文獎(jiǎng)，并在RSS上獲得了最佳學(xué)生論文獎(jiǎng)的決賽。

在此之前，他還以優(yōu)異的GPA4.0獲得了斯坦福大學(xué)計(jì)算機(jī)科學(xué)學(xué)士學(xué)位。

Connor首席技術(shù)官兼創(chuàng)始人 Lin也是一個(gè)學(xué)霸。

本碩就讀于卡內(nèi)基·梅隆大學(xué)，從Keenanana學(xué)習(xí)。 Crane教授。去斯坦福大學(xué)讀計(jì)算機(jī)博士，2020年?，F(xiàn)在他是一名四年級(jí)的博士生，由Leonidasi。 Guibas和Gordon 兩位教授共同指導(dǎo)了Wetzstein。

Connor Lin的研究側(cè)重于3D先驗(yàn)知識(shí)和神經(jīng)表達(dá)，用于3D重建、生成和編輯，并獲得了Davidid。 支持Cheriton斯坦福研究生獎(jiǎng)學(xué)金。

他在谷歌研究、英偉達(dá)研究和Adobe實(shí)習(xí)期間攻讀博士學(xué)位。此前，谷歌還擔(dān)任軟件工程師，負(fù)責(zé)Pixel手機(jī)的人像模式開發(fā)。

另外，這個(gè)小哥哥興趣廣泛，喜歡旅游和運(yùn)動(dòng)，喜歡烹飪、網(wǎng)球、游泳、桌游和音樂，也是泰勒·斯威夫特的鐵桿粉絲。

還有Connor 和Lin一樣，首席科學(xué)家Linqin (Alex) 在斯坦福大學(xué)，Zhou也是一名博士生，由Stefanoo。 教授Ermon指導(dǎo)。

此前，Linqi 在加州大學(xué)洛杉磯分校，Zhou獲得了計(jì)算機(jī)科學(xué)與應(yīng)用數(shù)學(xué)學(xué)士學(xué)位，由Song獲得-Chun Ying教授和Zhu-Nian 指導(dǎo)Wu教授。

在計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)領(lǐng)域，他主要研究它，并致力于構(gòu)建一個(gè)能以結(jié)構(gòu)化、概率化的方式理解世界模型。

參考鏈接：

https://apparate.ai/stream.html

本文來自微信微信官方賬號(hào)“機(jī)器之心”（ID：作者：關(guān)注AI大模型，36氪經(jīng)授權(quán)發(fā)布，almosthuman2014)。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com