AI 錄像領(lǐng)域卷瘋了。

Luma 這場狂歡還沒有結(jié)束，AI 另一個挑戰(zhàn)者來到了視頻圈。——

由斯坦福大學(xué)團(tuán)隊生產(chǎn)的 Proteus。

據(jù)介紹，Proteus 這是一個低延遲的基本模型，能夠產(chǎn)生高度真實而富有感染力的人物形象。

例如，讓世界名畫中的主角——蒙娜麗莎或一個戴著珍珠耳環(huán)的女孩——肆無忌憚地笑，面部情緒自然流暢：

讓奧黛麗 · 赫本一改往日淑女形象，玩嘻哈說唱：

還讓《哈利 · 斯內(nèi)普教授在波特里唱歌《Despacito》：

Proteus 剛剛發(fā)布，一群大佬發(fā)來了?！纲R信」：

AI 科學(xué)家賈揚清稱贊，即時人工智能頭像質(zhì)量非常好。

英偉達(dá)科學(xué)家 Jim Fan 也就是說，這個項目令人印象深刻。

初期投資者 Brian Zhan 發(fā)表文件說，現(xiàn)在 AI 比如視頻工具 Runway 和 Pika，最大的問題是會產(chǎn)生幻覺，尤其是在生成包含人類的視頻時。而且 Apparate Labs 處理時間連接和對象恒定等問題， AI 錄像生成進(jìn)入下一階段。

離譜！魯迅談到了繞口令

Proteus 它是人類實時表情生成的新一代基本模型。

要知道，即使是目前最先進(jìn)、最強(qiáng)大的生成模式，也無法完全實現(xiàn)人類表情的實時生成。

目前模型運行緩慢，無法直觀控制生成人物復(fù)雜的面部情緒和身體動作，在逼真性和感染力方面仍有所欠缺。

而 Proteus 使用最先進(jìn)的 transformer 隨著架構(gòu)和算法的不斷優(yōu)化，架構(gòu)的潛在擴(kuò)散模式，其突破性的潛在空間設(shè)計保證了即時高效，Proteus 每秒都能實現(xiàn) 100 幀以上（100 FPS）的視頻流。

也就是說，只需要一張簡單的照片，Proteus 不但能模仿人類的笑聲、說唱、唱歌、眨眼、微笑和對話，還能執(zhí)行更生動的表情和動作。

比方說，一向認(rèn)真的魯迅談到了繞口令：

或讓居里夫人清唱《Le Festin》：

或者給科學(xué)家開一個圓桌會議：

據(jù) Proteus R&D部門介紹，他們期望 Proteus 它可以成為聲音可控的視覺化身，為人工智能對話實體提供直觀的交互界面，同時可以無縫適應(yīng)多種模式的大語言模型，為各種使用場景提供定制服務(wù)。

對于這一點，很多網(wǎng)友腦洞大開?！?/p>

「只要用愛因斯坦的數(shù)據(jù)微調(diào)大語言模型，再加上他生動的面部情緒，偉大的愛因斯坦就可以成為教學(xué)助手，親自教物理課。從現(xiàn)在開始，青少年不用擔(dān)心學(xué)不好科學(xué)?！?/p>

也有網(wǎng)友表示，我愛死它，今年無疑是真的。 AI 視頻之時。

團(tuán)隊背后的底部

這個模型被大佬力捧，小而美， 后面是一個怎樣的團(tuán)隊？

根據(jù)官網(wǎng)的說法，這是斯坦福大學(xué)的。 Apparate Labs 開發(fā)出來的。

現(xiàn)在這個團(tuán)隊只有 6 人類，從名字和照片來看， 3 人為華人。

沈博魁，CEO兼創(chuàng)始人（William Shen）斯坦福大學(xué)計算機(jī)科學(xué)系博士學(xué)位，由著名教授授學(xué)。 Silvio Savarese 和 Leonidas J. Guibas 共同指導(dǎo)。

他的研究包括計算機(jī)視覺、機(jī)器人學(xué)、圖形學(xué)、生成模型和具體智能在內(nèi)的許多領(lǐng)域。他的論文獲得了許多獎項，例如 IEEE-CVPR 獲得最佳論文獎，仍然是 RSS 最佳學(xué)生論文獎入圍決賽。

在此之前，他還以為 GPA4.0 獲得斯坦福大學(xué)計算機(jī)科學(xué)學(xué)士學(xué)位的優(yōu)異成績。

首席技術(shù)官兼創(chuàng)始人 Connor Lin 同時也是學(xué)霸。

在卡內(nèi)基讀書的本碩 · 梅隆大學(xué)，師從 Keenan Crane 教授。2020 幾年前到斯坦福大學(xué)攻讀計算機(jī)博士學(xué)位?，F(xiàn)在他是一名四年級的博士生，由 Leonidas Guibas 和 Gordon Wetzstein 兩位教授共同指導(dǎo)。

Connor Lin 研究重點是 3D 用于先驗知識和神經(jīng)表示， 3D 重建、生成和編輯，獲得了 David Cheriton 支持斯坦福研究生獎學(xué)金。

攻讀博士學(xué)位期間，他在谷歌學(xué)習(xí)，英偉達(dá)學(xué)習(xí)。 Adobe 在此之前，谷歌還是一名軟件工程師，負(fù)責(zé) Pixel 開發(fā)手機(jī)人像模式。

另外，這個小哥哥興趣廣泛，喜歡旅游和運動，喜歡烹飪、網(wǎng)球、游泳、桌游和音樂，或者泰勒。 · 斯威夫特的鐵桿球迷

和 Connor Lin 同樣，首席科學(xué)家 Linqi ( Alex ) Zhou 又是斯坦福大學(xué)的博士生，由 Stefano Ermon 教授指導(dǎo)。

此前，Linqi Zhou 由加州大學(xué)洛杉磯分校獲計算機(jī)科學(xué)與應(yīng)用數(shù)學(xué)學(xué)士學(xué)位， Song-Chun Zhu 教授和 Ying-Nian Wu 教授指導(dǎo)。

在計算機(jī)視覺和機(jī)器學(xué)習(xí)領(lǐng)域，他主要研究它，并致力于構(gòu)建一個能以結(jié)構(gòu)化、概率化的方式理解世界模型。

本文僅代表作者觀點，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com