日本人工智能已經(jīng)失去了30多年
2019年,有兩件事一直困擾著孫正義:軟銀投資失敗,日本科技落后。
面對(duì)媒體,孫正義痛心地說(shuō),技術(shù)產(chǎn)業(yè)幾乎從日本消失了,我們正在成為一個(gè)被遺忘的國(guó)家。 。AI革命即將到來(lái),是日本重返牌桌的最后希望[1]。
隨著ChatGPT的出現(xiàn),孫正義的呼吁終于成為共識(shí)。然而,就在日本動(dòng)員全國(guó),準(zhǔn)備用油門闖入跑道時(shí),發(fā)現(xiàn)了一個(gè)尷尬的事實(shí):
目前日本的AI研究,非常依賴隔壁鄰居為首的外國(guó)人。
對(duì)于這一點(diǎn),RIKEN創(chuàng)新智慧綜合研究中心負(fù)責(zé)人杉山將曾經(jīng)做過(guò)一個(gè)統(tǒng)計(jì)。
RIKEN(物理和化學(xué)研究所)是日本唯一的國(guó)家級(jí)研究機(jī)構(gòu),是頂級(jí)集中的地方。湯川秀樹等日本諾貝爾獎(jiǎng)獲得者在這里做過(guò)研究。然而,近一半的作者屬于外國(guó)大學(xué),其中大約一半來(lái)自中國(guó)[2]。
在生成式AI浪潮中,當(dāng)?shù)貨](méi)有人可用,促使日本一直處于失語(yǔ)狀態(tài)。
但是,如果回顧歷史,就會(huì)發(fā)現(xiàn)日本曾經(jīng)是一個(gè)“AI強(qiáng)國(guó)”。
20世紀(jì)80年代和90年代,日本曾經(jīng)是深度學(xué)習(xí)的中心。在日本AI實(shí)驗(yàn)室度過(guò)了一段郁郁蔥蔥的時(shí)光,包括楊立昆、余凱、林元慶、賈揚(yáng)清等。
曾握著一手王炸的日本,為什么要走向老無(wú)所依的結(jié)局?
站在日本人的肩膀上
上世紀(jì)80年代,正在讀大學(xué)的楊立昆,被一群“瘋子”所吸引。
當(dāng)時(shí)深度學(xué)習(xí)是一條“被證偽”的技術(shù)路線。然而,仍然有少數(shù)人堅(jiān)持,包括一群日本科學(xué)家。楊立昆發(fā)現(xiàn),當(dāng)時(shí)的深度學(xué)習(xí)論文大多是日本研究人員用英語(yǔ)寫的。
在這些人中,一個(gè)叫福島邦彥的日本人對(duì)她影響很大。
福島邦彥
一九八○年,福島邦彥參照貓的視覺(jué)結(jié)構(gòu),設(shè)計(jì)了一種叫做“神經(jīng)認(rèn)知機(jī)”的視覺(jué)結(jié)構(gòu)。(Neocognitron)"多層網(wǎng)絡(luò)模型。
在生物的初級(jí)視覺(jué)皮層中,有多個(gè)神經(jīng)元,每個(gè)神經(jīng)元只“掌管”一小部分視線。隨后,神經(jīng)元收集的信息將統(tǒng)一傳遞到視覺(jué)皮層,形成完整的視覺(jué)圖像。
受此啟發(fā),福島邦彥為神經(jīng)認(rèn)知機(jī)制定了“感知光”和“運(yùn)動(dòng)信息”兩個(gè)神經(jīng)元,分別用于“提取圖形信息”和“構(gòu)成圖形信息”。 但是,福島邦彥神經(jīng)認(rèn)知機(jī)存在一個(gè)致命問(wèn)題: 太超前了。
那時(shí)候,主流的神經(jīng)網(wǎng)絡(luò)只有一層,但是神經(jīng)認(rèn)知機(jī)有整整五層。
面臨著多層設(shè)計(jì)帶來(lái)的各種問(wèn)題,福島邦彥一時(shí)找不到解決辦法,導(dǎo)致神經(jīng)認(rèn)知機(jī)只能處理一些極其簡(jiǎn)單的工作。
一九八六年,辛頓提出了“反向傳播算法”,這一問(wèn)題得到了正確答案。
然而,如果我們追溯反向傳播算法,我們會(huì)發(fā)現(xiàn)它的根源仍然是日本人。20世紀(jì)60年代,日本數(shù)學(xué)家甘利俊一提出的“隨機(jī)梯度下降法”為其提供了技術(shù)靈感[6]。只是由于特定時(shí)代的限制,甘利俊一沒(méi)有條件在電腦上進(jìn)行模擬驗(yàn)證。
1988年,楊立昆將神經(jīng)認(rèn)知機(jī)與反向傳播相結(jié)合,打造了著名的卷積神經(jīng)網(wǎng)絡(luò)。直到今天,卷積神經(jīng)網(wǎng)絡(luò)仍然是圖像識(shí)別領(lǐng)域最重要的算法之一。
可以看出,這些定義一個(gè)時(shí)代的AI研究成果,都是站在日本科學(xué)家的肩膀上實(shí)現(xiàn)的。
中國(guó)人在實(shí)驗(yàn)室
與此同時(shí),日本工業(yè)界,拉開(kāi)了更激進(jìn)的歷史篇章。
當(dāng)時(shí),日本進(jìn)入了一個(gè)極其繁榮的泡沫經(jīng)濟(jì)時(shí)代。大企業(yè)為愛(ài)情發(fā)電,自己掏錢建中央實(shí)驗(yàn)室,努力做基礎(chǔ)科學(xué)。其中,NEC(日本電器有限公司)最激進(jìn):直接切入美國(guó)技術(shù)產(chǎn)業(yè)腹地,將實(shí)驗(yàn)室開(kāi)到普林斯頓和硅谷。
NEC,財(cái)大氣粗 Lab,很快就聚集了一大批未來(lái)著名的名字。
Xi交通大學(xué)軟件學(xué)院院長(zhǎng),國(guó)家 龔怡宏是第一位加入硅谷NEC的特聘教授。 國(guó)人科學(xué)家Lab。在他擔(dān)任實(shí)驗(yàn)室主任的階段,他延攬了一批年輕人才。
在這些人中,既有引發(fā)科技巨頭競(jìng)拍辛頓的余凱,也有活躍在中國(guó)AI產(chǎn)業(yè)一線的林元慶、徐偉等技術(shù)巨頭。
余凱
那時(shí)候,中國(guó)的計(jì)算機(jī)產(chǎn)業(yè)剛剛起步,無(wú)法吸收這么多人才。硅谷NEC Lab無(wú)縫地接受了這一需求,并吸引了一大批渴望探索AI的中國(guó)科學(xué)家。
硅谷NEC余凱接力 Lab主任一職之后,又招募了黃暢。那時(shí),黃暢下面有一位名叫賈揚(yáng)清的見(jiàn)習(xí)生。NEC 在Lab期間,賈揚(yáng)清展示了他高超的數(shù)學(xué)和工程代碼能力,曾經(jīng)讓實(shí)驗(yàn)室里的每個(gè)人都相信他將來(lái)會(huì)有所成就。
這條孵化線代代相傳,在林元慶接管了硅谷NEC 在那之后,Lab還在繼續(xù)。
謝賽寧是他引進(jìn)的見(jiàn)習(xí)生,后來(lái)和麻省理工學(xué)院教授何愷明一起提出了著名的ResNeXt模型。謝賽寧還在2022年與OpenAI研究員Billll。 論文中的Peebles合作《Scalable diffusion models with transformers》。
基于這篇論文,OpenAI創(chuàng)建了視頻生成模型Sora。
另外一個(gè)NEC位于普林斯頓。 Lab,Vladimir也吸引了楊立昆和svm算法發(fā)明者。 泰斗級(jí)人物,如Vapnik。
可以說(shuō),歷史上沒(méi)有一個(gè)機(jī)構(gòu)可以像NEC一樣, Lab就是這樣,有這樣一個(gè)高手如林的團(tuán)隊(duì)。
在媒體采訪中,余凱描述了NEC。 在Lab巔峰時(shí)期的知名度: 如果你在谷歌上搜索美國(guó)NEC Lab,網(wǎng)頁(yè)上會(huì)立刻彈出一句話,你要不要來(lái)谷歌工作[7]。
不過(guò),鼎盛時(shí)期風(fēng)光獨(dú)特的NEC Lab,但早就埋下了草蛇灰線的衰落。
五月花號(hào)迷航
2002年,楊立昆剛剛在普林斯頓做了一年的研究,NEC開(kāi)始施加壓力。
管理層毫不客氣地告訴楊立昆,NEC對(duì)深度學(xué)習(xí)沒(méi)有任何興趣,并順手解雇了當(dāng)時(shí)的實(shí)驗(yàn)室主任。這段經(jīng)歷讓楊立昆對(duì)行業(yè)完全失望,回到紐約大學(xué)當(dāng)老師。
楊立昆
NEC突然自毀長(zhǎng)城,有兩個(gè)不可忽視的現(xiàn)實(shí)原因:
首先,人們對(duì)AI失去了信心。當(dāng)時(shí)無(wú)論是芯片計(jì)算率還是數(shù)據(jù)的豐富程度,都遠(yuǎn)遠(yuǎn)不足以讓深度學(xué)習(xí)發(fā)揮潛力。同時(shí),“第五代計(jì)算機(jī)”項(xiàng)目的失敗更是雪上加霜。
“第五代計(jì)算機(jī)”項(xiàng)目始于80年代,旨在打造AI驅(qū)動(dòng)的超級(jí)計(jì)算機(jī)。
在日本的想法中,第五代計(jì)算機(jī)將具有回答問(wèn)題、管理知識(shí)庫(kù)、識(shí)別圖像、生成代碼等功能[8]。這個(gè)“領(lǐng)先時(shí)代40年”的研究項(xiàng)目曾經(jīng)嚇到美國(guó),立即拿出補(bǔ)貼與日本競(jìng)爭(zhēng)。
這樣一個(gè)拍腦袋的項(xiàng)目,結(jié)局可想而知。
1992年,五代機(jī)項(xiàng)目正式宣布破產(chǎn)。日本不僅浪費(fèi)了數(shù)億美元,還忽悠了其他跟風(fēng)的國(guó)家。一怒之下,大家都把責(zé)任歸咎于AI。在未來(lái)很長(zhǎng)一段時(shí)間里,AI研究就像一只過(guò)街的老鼠,每個(gè)人都在大喊大叫和毆打。
第二,日本的中央試驗(yàn)室方式,在這個(gè)時(shí)候也有問(wèn)題。
NEC是日本公司 Lab等中央實(shí)驗(yàn)室的定位是一個(gè)純粹的基礎(chǔ)研究機(jī)構(gòu)。這種模式與市場(chǎng)和行業(yè)沒(méi)有聯(lián)系,只是盲目追求獲得更多的諾貝爾獎(jiǎng)。這種情況使科學(xué)家非常煩躁,內(nèi)部經(jīng)常調(diào)侃說(shuō)“總而言之,做什么都不能用在產(chǎn)品上”。
所以,當(dāng)經(jīng)濟(jì)泡沫消失的時(shí)候,日本進(jìn)入了一個(gè)失落的時(shí)代,一個(gè)沒(méi)有實(shí)際用途的中央實(shí)驗(yàn)室,自然成為第一批“挨刀”的對(duì)象。
NEC在2009-2020年間多次裁員1萬(wàn)人,大幅減少R&D資金。
這一階段,中美科學(xué)家紛紛選擇自主創(chuàng)業(yè),或者選擇另一棵好木頭。
2012年,李彥宏邀請(qǐng)余凱領(lǐng)導(dǎo)百度的AI業(yè)務(wù)。在他的號(hào)召下,徐偉、黃暢等NEC 同事們,Lab也紛紛加入百度。之后,他們又和余凱一起建立了地平線。
日本大力點(diǎn)燃AI火源,最終造就了今天中國(guó)AI的火焰。自2018年第四次NEC裁員以來(lái),其美國(guó)實(shí)驗(yàn)室的技術(shù)中堅(jiān)力量幾乎已經(jīng)耗盡。
孤膽英雄
隨著NEC美國(guó)實(shí)驗(yàn)室的孤獨(dú),日本AI大踏步前進(jìn)。
全球人工智能的歷史還在繼續(xù),就像五代機(jī)項(xiàng)目從來(lái)沒(méi)有存在過(guò)一樣;NEC曾經(jīng)建立了全明星陣容 Lab,同時(shí)也逐漸被遺忘。日本在失去的30年里,基本上沒(méi)有在深度學(xué)習(xí)領(lǐng)域留下任何痕跡。
不僅如此,深度學(xué)習(xí)仍然在日本留下了根深蒂固的偏見(jiàn)。
谷歌的AlphaGo在2016年擊敗了李世石,并登上了全球科技新聞的頭版。今年,中國(guó)誕生了528家AI公司,催生了371家AI投融資公司。從科學(xué)家到VC,他們都熱情地談?wù)撋疃葘W(xué)習(xí)的潛力。然而,隔壁的日本卻是另一道風(fēng)景。
同年,日本產(chǎn)經(jīng)省還召開(kāi)了全國(guó)人工智能大會(huì)。一些學(xué)者準(zhǔn)備就深度學(xué)習(xí)提出兩個(gè)計(jì)劃,但他們被同一個(gè)學(xué)術(shù)界的研究人員提醒。 ,假如名字中加入了深度學(xué)習(xí),估計(jì)就沒(méi)人來(lái)聽(tīng)了。
這一猶豫不決的態(tài)度,是當(dāng)今日本無(wú)人能及的重要誘因。
唯一意識(shí)到這個(gè)問(wèn)題的,正是軟銀集團(tuán)的孫正義。
2017年,孫正義在推出世界上最大的私募股權(quán)科技投資基金(愿景基金)時(shí),堅(jiān)信基金只會(huì)按照一個(gè)策略進(jìn)行投資,那就是AI。
在接下來(lái)的幾年里,軟銀在AI領(lǐng)域的投資并不激進(jìn)。
僅在季度和年度報(bào)告中,孫正義就提到了“AI“頻率超過(guò)500次,為400多家AI初創(chuàng)公司注入1400多億美元。他甚至在2020年表示,前所未有的投資狂潮將使軟銀成為主導(dǎo)AI革命的投資公司。
但是,孤掌難鳴。更加尷尬的是,軟銀還壓錯(cuò)了寶。
根據(jù)2023年風(fēng)險(xiǎn)投資數(shù)據(jù)庫(kù)PItchBook公開(kāi)的數(shù)據(jù),軟銀只投資了26家估值超過(guò)10億美元的AI創(chuàng)業(yè)公司中的一家。
此外,雖然孫正義花了40億美元投資英偉達(dá),但在股價(jià)暴漲之前,他拋棄了一切,錯(cuò)過(guò)了近10倍的收益。如果ARM沒(méi)有投入,孫正義的AI投資將一無(wú)所獲。
孫正義
2023年,當(dāng)ChatGPT點(diǎn)爆AI熱潮時(shí),孫正義在股東大會(huì)上痛心疾首地表示,自2022年底以來(lái),他一直在反思,“為自己犯了很多錯(cuò)誤而感到羞愧”,“哭了好幾天都停不下來(lái)”[13]。
失去的時(shí)代
孫正義的眼淚,不僅是對(duì)軟銀頻繁下注失誤的遺憾,也是對(duì)日本AI產(chǎn)業(yè)的仇恨。
2019年,孫正義公開(kāi)批評(píng),沒(méi)有加以掩飾: 在目前最重要的科技革命中,日本已經(jīng)成為“后進(jìn)入中國(guó)”,其不斷失去競(jìng)爭(zhēng)力的本質(zhì)原因是對(duì)進(jìn)步的貪婪[15]。
這番言論 ,許多情感因素混雜在一起。 實(shí)際上,這并非日本AI老無(wú)所依的主要原因。
深度學(xué)習(xí)從來(lái)都不是一場(chǎng)獨(dú)立的革命。
2012年,深度學(xué)習(xí)可以爆發(fā)。事實(shí)上,有兩個(gè)前提:一是計(jì)算率的進(jìn)化。當(dāng)時(shí),英偉達(dá)開(kāi)發(fā)的GPU已經(jīng)初步支撐了深度學(xué)習(xí)所需的計(jì)算率。第二,互聯(lián)網(wǎng)的全面啟動(dòng)填補(bǔ)了數(shù)據(jù)不足的問(wèn)題。
隨著這些外部產(chǎn)業(yè)的不斷完善,集成電路、互聯(lián)網(wǎng)和云計(jì)算可以進(jìn)入歷史舞臺(tái)。然而,日本幾乎沒(méi)有這些行業(yè)。
起初,在斯坦福教書的吳恩達(dá)不得不進(jìn)行大規(guī)模的圖像識(shí)別測(cè)試,谷歌仍然傾注了整個(gè)數(shù)據(jù)中心的計(jì)算率來(lái)實(shí)現(xiàn)他的The。 Cat Neurons項(xiàng)目(即谷歌貓)。
然而,福島邦彥和甘利俊一并沒(méi)有那么幸運(yùn)。即使在今天的日本,也沒(méi)有一家民間企業(yè)有巨大的算率來(lái)訓(xùn)練AI模型。只有政府領(lǐng)導(dǎo)的理化研究所才能找到像富岳這樣的超級(jí)計(jì)算機(jī)。
AI在日本的后繼無(wú)人,從一開(kāi)始就埋下了伏筆。
現(xiàn)在,以AI為橫截面的日本技術(shù)產(chǎn)業(yè),似乎已經(jīng)證實(shí)了五年前孫正義的猜測(cè):日本已失去過(guò)去,但也許正在失去未來(lái)。
參考資料
[1] 孫正義氏,日本を憂う「このままでは忘れられた國(guó)に」,日経ビジネス
[2] 日本的國(guó)產(chǎn)AI開(kāi)發(fā)依賴于外國(guó)人,日經(jīng)中文網(wǎng)
[3] Why Japan is lagging behind in generative AI, CNBC
[4] 楊立昆,科學(xué)之路
[5] 智能化時(shí)代算法發(fā)展,張江科技評(píng)論
[6] 甘利俊一 | 信息幾何法:了解深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)制的重要工具,AI技術(shù)評(píng)論
[7] 對(duì)話地平線創(chuàng)始人、CEO余凱:德國(guó)詩(shī)意的六年深深地滋養(yǎng)了我,車云
[8] 第五代:人工智能和日本電腦對(duì)世界的挑戰(zhàn),愛(ài)德華費(fèi)吉鮑姆,帕梅拉麥考黛克
[9] 雄心勃勃的日本第五代計(jì)算機(jī),是如何一步步走向失敗的,CSDN
[10] 林軍,岑峰,中國(guó)人工智能簡(jiǎn)史
[11] 目前日本人工智能的現(xiàn)狀和“深度學(xué)習(xí)”的課題, Nippon
[12] 日本人工智能的發(fā)展與現(xiàn)狀,鼎聯(lián)知識(shí)產(chǎn)權(quán)
[13] 孫正義投AI,投個(gè)孤獨(dú),華爾街見(jiàn)聞。
[14] 孫正義:一場(chǎng)巨大的革命即將到來(lái),軟銀終將統(tǒng)治世界,華爾街見(jiàn)聞。
[15] 孫正義批準(zhǔn)日本反思人工智能落后的競(jìng)爭(zhēng)力,亞洲特刊
[16] 硅谷NEC Lab舊事:把中國(guó)公司拖進(jìn)AI時(shí)代的人,雷鋒網(wǎng)
[17] 西村吉雄,日本電子產(chǎn)業(yè)盛衰,
本文來(lái)自微信公眾號(hào)“遠(yuǎn)川科技評(píng)論”(ID:kechuangych),作者:沈丹陽(yáng),36氪經(jīng)授權(quán)發(fā)布。
本文僅代表作者觀點(diǎn),版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com