折騰十年,扎克伯格痛失 AI 好局
北京時(shí)間 6 月 19 日消息,在人工智能 (AI) 爭(zhēng)奪戰(zhàn)中,馬克?扎克伯格 (Mark Zuckerberg) 起了個(gè)大早,卻趕了個(gè)晚集?,F(xiàn)在,他正在做一件自己并不喜歡的事情:追趕。
早在十年前,這位臉書(shū)創(chuàng)始人就看到了 AI 的前景,并砸下重金來(lái)推動(dòng)自家 AI 的開(kāi)發(fā)。他聘請(qǐng)了 AI 早期遠(yuǎn)見(jiàn)者之一、有“AI 教父”之稱(chēng)的楊立昆 (Yann LeCun) 來(lái)領(lǐng)導(dǎo)這項(xiàng)業(yè)務(wù)。然而現(xiàn)在,就在 OpenAI 的 ChatGPT 進(jìn)入消費(fèi)者市場(chǎng)幾個(gè)月后,Meta 卻在相同的技術(shù)上落后了。
十年的先發(fā)優(yōu)勢(shì)
2013 年,臉書(shū) (現(xiàn)在更名為 Meta) 開(kāi)始投資 AI。扎克伯格和當(dāng)時(shí)的首席技術(shù)官邁克?施羅普夫 (Mike Schroepfer) 曾親自出面,尋求聘請(qǐng)一位 AI 領(lǐng)域的領(lǐng)軍人物,以領(lǐng)導(dǎo)公司的一個(gè)新研究部門(mén),推進(jìn) AI 的開(kāi)發(fā)。他們找到的這個(gè)副手是紐約大學(xué)教授楊立昆,后者在 AI 領(lǐng)域取得了享有盛譽(yù)的突破性成果。
楊立昆深入扎根于學(xué)術(shù)和基礎(chǔ)研究,力主創(chuàng)造一種能夠反映其優(yōu)先事項(xiàng)的文化:雇傭科學(xué)家而不是工程師,強(qiáng)調(diào)學(xué)術(shù)成果,例如研究論文,而不是為公司的最終用戶(hù)開(kāi)發(fā)產(chǎn)品。知情人士稱(chēng),多年來(lái),這一戰(zhàn)略使得 Meta 的基礎(chǔ) AI 研究實(shí)驗(yàn)室對(duì)頂尖人才極具吸引力,但也挑戰(zhàn)了該公司將其技術(shù)成果進(jìn)行商業(yè)化的能力。
在研究方向和資源分配上,Meta 鼓勵(lì)一種分散的、自下而上的方法。知情人士說(shuō),研究人員各自推動(dòng)自己的議程,在不同的方向上追求獨(dú)立的項(xiàng)目,而不是在全公司范圍內(nèi)制定一個(gè)統(tǒng)一的戰(zhàn)略。Meta 將硬件資源拆分成多個(gè)小塊,分配到各個(gè)項(xiàng)目上。一些研究人員得到的計(jì)算機(jī)芯片超過(guò)他們需要的數(shù)量,他們會(huì)將這些芯片用于不必要的任務(wù),以避免放棄它們。
與此同時(shí),Meta 在為其數(shù)據(jù)中心配備 AI 開(kāi)發(fā)所需的最強(qiáng)大計(jì)算機(jī)芯片方面進(jìn)展緩慢。即使公司獲得了更多的這種芯片,它也沒(méi)有一個(gè)好的機(jī)制把它們送到工程師和研究人員手中。一些人說(shuō),有時(shí)會(huì)有數(shù)千件令人垂涎的昂貴硬件閑置在那里。
Meta 正在對(duì)其數(shù)據(jù)中心進(jìn)行全面改進(jìn),這可能造成了一些運(yùn)轉(zhuǎn)不暢。根據(jù) Meta 的一篇博客文章,截至 5 月份,Meta 最新 AI 超級(jí)計(jì)算機(jī)擁有 1.6 萬(wàn)個(gè)這樣的芯片。
內(nèi)部爭(zhēng)斗
知情人士稱(chēng),隨著大語(yǔ)言模型在 2020 年開(kāi)始展現(xiàn)出越來(lái)越強(qiáng)的能力,Meta AI 研究部門(mén)內(nèi)部的緊張局勢(shì)也在加劇。兩個(gè)陣營(yíng)產(chǎn)生了分歧:一方敦促公司認(rèn)真投資大模型這個(gè)行業(yè)新方向,而包括楊立昆在內(nèi)的人則認(rèn)為這些大模型是短暫的狂熱,缺乏科學(xué)價(jià)值。一些人透露,楊立昆在公司內(nèi)部和公開(kāi)場(chǎng)合都強(qiáng)烈反對(duì)大語(yǔ)言模型,認(rèn)為他們不會(huì)讓 AI 更接近人類(lèi)的智力水平,這使得持反對(duì)意見(jiàn)的研究人員很難獲得大模型開(kāi)發(fā)所需的支持和大量資源。
結(jié)果,一些 Meta 研究人員只能使用更少的資源繼續(xù)推進(jìn)大模型開(kāi)發(fā)。他們?cè)?2022 年使用大約 1000 個(gè)芯片開(kāi)發(fā)了一個(gè)名為“開(kāi)放式預(yù)訓(xùn)練模型”(OPT) 的大語(yǔ)言模型,并在 2023 年使用大約 2000 個(gè)芯片開(kāi)發(fā)出了 Meta 的旗艦?zāi)P?LLaMA。相比之下,按照行業(yè)標(biāo)準(zhǔn),開(kāi)發(fā)這種大模型需要 5000 到 1 萬(wàn)個(gè)芯片。最初,Meta 允許有限的外部研究人員訪(fǎng)問(wèn) LLaMA,但隨后它被泄露到網(wǎng)上,引發(fā)了一陣創(chuàng)新熱潮。Meta 高管們認(rèn)為,這是 Meta 志在分享其 AI 技術(shù)的一個(gè)主要例子。
自那以后,Meta 失去了許多 AI 研究人員,這些人在去年從事了上述和其他關(guān)鍵的生成式 AI 項(xiàng)目。許多人感到筋疲力盡,或者對(duì)于 Meta 跟上競(jìng)爭(zhēng)對(duì)手的步伐缺乏信心。據(jù)領(lǐng)英資料和知情人士透露,在為 LLaMA 撰寫(xiě)研究論文的 14 位作者中,有 6 位已經(jīng)離職或宣布將離職。在為 OPT 撰寫(xiě)論文的 19 位共同作者中,也有 8 位離開(kāi)了。
在 OpenAI 去年 11 月發(fā)布 ChatGPT 之后,Meta 員工的離職開(kāi)始加速。一些人受到了 AI 創(chuàng)業(yè)熱潮的誘惑離職,這股熱潮推動(dòng)了包括谷歌在內(nèi)的硅谷公司的全面人事變動(dòng)。領(lǐng)英的數(shù)據(jù)顯示,截至今年 3 月,領(lǐng)英上提到 GPT 的招聘崗位數(shù)量同比增長(zhǎng)了 79%。
Meta 的一位發(fā)言人表示,該公司一直在繼續(xù)招聘和引進(jìn)新的 AI 人才。
重新追趕
在 ChatGPT 發(fā)布后,扎克伯格、Meta 首席產(chǎn)品官克里斯?考克斯 (Chris Cox)、首席技術(shù)官安德魯?博斯沃思 (Andrew Bosworth) 一起負(fù)責(zé)公司所有與 AI 相關(guān)的工作。這三位高管現(xiàn)在每周花數(shù)個(gè)小時(shí)研究 AI,參加會(huì)議并批準(zhǔn) AI 項(xiàng)目。
此前,Meta 花費(fèi)數(shù)年時(shí)間優(yōu)先考慮學(xué)術(shù)發(fā)現(xiàn),并免費(fèi)分享它們,但無(wú)法利用上這些研究成果的商業(yè)潛力?,F(xiàn)在,它正在迅速地將資源重新集中在開(kāi)發(fā)可用的 AI 產(chǎn)品和功能上,包括自己的聊天機(jī)器人。
Meta 新成立了生成式 AI 部門(mén),專(zhuān)注于構(gòu)建可用的產(chǎn)品和工具,而不是科學(xué)研究。該部門(mén)收到了超過(guò) 2000 份內(nèi)部申請(qǐng),并迅速集結(jié)了來(lái)自不同團(tuán)隊(duì)的數(shù)百名員工。知情人士表示,硬件資源已從 AI 研究部門(mén)轉(zhuǎn)移,正被用于訓(xùn)練新的生成式 AI 模型。
扎克伯格在今年 3 月表示,“推進(jìn) AI 并將其融入我們的每一款產(chǎn)品”是該公司最大的單筆投資。在今年 5 月舉行的 Meta 年度股東大會(huì)上,扎克伯格表示,公司也希望將 AI 擴(kuò)展到虛擬世界。
Meta 發(fā)言人表示,在本月早些時(shí)候與員工舉行的一次市政廳會(huì)議上,扎克伯格宣布了該公司目前正在開(kāi)發(fā)的一系列生成式 AI 產(chǎn)品,包括 Messenger 和 WhatsApp 的 AI 代理,用戶(hù)可以根據(jù)文本提示生成并在聊天中分享的 AI 貼紙,以及一項(xiàng)照片生成功能。照片生成功能允許 Instagram 用戶(hù)使用文本提示修改自己的照片,然后在 Instagram Stories 中分享。
但是,Meta 仍然面臨廣泛挑戰(zhàn)。知情人士透露,在經(jīng)過(guò)政府和媒體對(duì)其用戶(hù)隱私做法進(jìn)行了 7 年的嚴(yán)格審查之后,該公司對(duì)風(fēng)險(xiǎn)的容忍度越來(lái)越低,這在如何以及何時(shí)推出 AI 產(chǎn)品方面造成了摩擦。
否認(rèn)落后
今年 5 月,美國(guó)白宮舉行 AI 領(lǐng)袖峰會(huì),稱(chēng)這是一場(chǎng)為“處于 AI 創(chuàng)新前沿的公司”舉行的會(huì)議。但是,扎克伯格沒(méi)有受邀。
Meta AI 研究副總裁喬勒?皮諾 (Joelle Pineau) 在一份聲明中表示,公司在 AI 開(kāi)發(fā)方面并沒(méi)有落后,并為此前對(duì) AI 學(xué)術(shù)研究和結(jié)構(gòu)的聚焦進(jìn)行了辯護(hù),稱(chēng)這為 Meta 走向成功打下基礎(chǔ)。
皮諾稱(chēng),Meta 的 AI 研究部門(mén)“是全球 AI 研究人員和開(kāi)放科學(xué)的領(lǐng)先目的地之一,僅在過(guò)去一年中,其研究成果就顯著增加”。她表示:“在我們把一類(lèi)新的生成式 AI 體驗(yàn)帶給我們的應(yīng)用家族之際,我們的研究突破為此奠定了堅(jiān)實(shí)的基礎(chǔ)。我們?yōu)?Meta 的 AI 研究人員過(guò)去和現(xiàn)在所做的貢獻(xiàn)感到自豪,他們幫助塑造了先進(jìn)和一流 AI 技術(shù)的未來(lái)?!兵P凰網(wǎng)科技《AI 前哨》對(duì)此將持續(xù)關(guān)注。
本文僅代表作者觀(guān)點(diǎn),版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com