找到吳新宙,英偉達(dá)智駕引燃端到端。
2025 財(cái)年第一季度財(cái)務(wù)報(bào)告披露后,英偉達(dá)再次創(chuàng)造市值神話,股價(jià)一路飆升,市值已經(jīng)達(dá)到。 2.7 全球排名第三的億美元,僅次于微軟和蘋(píng)果。
但是,收入創(chuàng)新高的背后,卻是一直無(wú)法扛起增長(zhǎng)曲線的汽車(chē)業(yè)務(wù)。
財(cái)務(wù)報(bào)告披露,今年第一季度 260 總收入1億美元,汽車(chē)業(yè)務(wù)只奉獻(xiàn)。 3.29 億美元,占比約為 1.2%。而且去年汽車(chē)業(yè)務(wù)的總收入是 11 億美元,占總收入 1.8%。
很明顯,英偉達(dá)不斷推出驚艷四座。 Orin、Thor 在芯片的背景下,這種收入并不能滿足英偉達(dá)對(duì)汽車(chē)業(yè)務(wù)的野心。
特別是在智能汽車(chē)市場(chǎng)滲透率不斷上升的情況下,英偉達(dá)必須盡快加強(qiáng)競(jìng)爭(zhēng)力,進(jìn)一步拓展汽車(chē)業(yè)務(wù)的蛋糕。
英偉達(dá)在這種背景下迎來(lái)了吳新宙這個(gè)核心角色。
吳新宙作為前小鵬自動(dòng)駕駛的靈魂人物,被挖到英偉達(dá)主要有三個(gè)特點(diǎn):
懂軟件落地。英偉達(dá)芯片 Xavier、Orin 在此基礎(chǔ)上,吳新宙協(xié)助小鵬全棧自研軟件,見(jiàn)證小鵬汽車(chē)記憶停車(chē),NGP、LCC 增強(qiáng)版等產(chǎn)品的發(fā)布,這種實(shí)踐經(jīng)驗(yàn)無(wú)疑是英偉達(dá)所缺乏的。
懂整合資源。先后擔(dān)任高通自動(dòng)駕駛業(yè)務(wù)負(fù)責(zé)人、小鵬自動(dòng)駕駛副總裁。吳新宙在芯片公司和汽車(chē)公司的豐富經(jīng)驗(yàn)代表了他善于整合上下游產(chǎn)業(yè)鏈資源,是英偉達(dá)制定全棧計(jì)劃的最佳引路人。
懂中國(guó)市場(chǎng)。小鵬的吳新宙 4 2000年,成立千人智能駕駛團(tuán)隊(duì),協(xié)助小鵬城市 NGP 率先量產(chǎn)落地,可在「內(nèi)卷」中國(guó)市場(chǎng)突出重圍,可見(jiàn)吳新宙深刻的市場(chǎng)洞察力和高效的工作作風(fēng)。
因此,吳新宙的加入必然會(huì)改寫(xiě)英偉達(dá)自動(dòng)駕駛的不利局面。這位最適合英偉達(dá)自動(dòng)駕駛的舵手,首先要處理奔馳項(xiàng)目中英偉達(dá)的燃眉之急,然后不斷強(qiáng)化英偉達(dá)全棧軟硬件解決方案提供商的身份標(biāo)簽。
現(xiàn)在看來(lái),英偉達(dá)汽車(chē)業(yè)務(wù)正在加強(qiáng)。 AI 規(guī)劃生態(tài)賦能。吳新宙在實(shí)際方向上強(qiáng)調(diào) AI 定義汽車(chē),生成式 AI 提升自動(dòng)駕駛天花板,并相信端到端是自動(dòng)駕駛的最后一首曲子。
01 從軟件到 AI,貫穿三個(gè)階段的自動(dòng)駕駛
三個(gè)階段的自動(dòng)駕駛發(fā)展,AI 人物屬性越來(lái)越突出。
第一代自動(dòng)駕駛,完全基于規(guī)則,通過(guò)工程師沉積算法完成自動(dòng)駕駛動(dòng)作;
第二代自動(dòng)駕駛,AI 效果突出,通過(guò) AI 逐步取代人工規(guī)則,完成預(yù)測(cè)、規(guī)劃動(dòng)作;
第3代自動(dòng)駕駛,完全迭代成端到端大模型的方式, AI 貫穿于從感知到?jīng)Q策的全過(guò)程。
對(duì)于這一變化過(guò)程,吳新宙提出了一個(gè)明確的觀點(diǎn),也就是從軟件定義汽車(chē)到 AI 定義汽車(chē)。
兩者的核心變化在于,將需要大量人工參與的工作轉(zhuǎn)化為依賴(lài) AI 可以有效地解決問(wèn)題。
具體的底層邏輯是,車(chē)端將數(shù)據(jù)反饋給云端,云端集中訓(xùn)練和模擬無(wú)人駕駛汽車(chē)模型,然后將模型數(shù)據(jù)發(fā)回車(chē)端進(jìn)行訓(xùn)練和模擬。 OTA 部署和更新。雙方協(xié)同互補(bǔ)。
若將這條路徑與軟件定義汽車(chē)的路徑進(jìn)行比較,則可以直觀地看到差異。
一個(gè)是在開(kāi)發(fā)方面,依靠軟件定義汽車(chē),需要對(duì)所有部件進(jìn)行編碼和工程設(shè)計(jì),這對(duì)邊緣場(chǎng)景識(shí)別和結(jié)合速度都是一個(gè)巨大的工程。
而這些在 AI 定義汽車(chē)時(shí)代,可以通過(guò)云大模型訓(xùn)練來(lái)處理,包括應(yīng)對(duì)邊緣案例,提高泛化能力等等。
另一個(gè)是檢測(cè)方面,在前者路徑中,需要高效的基礎(chǔ)設(shè)施來(lái)支撐海量的大規(guī)模檢測(cè)和運(yùn)行,這意味著為了支撐其后續(xù)飛輪的高轉(zhuǎn)速,需要大力打造全鏈閉環(huán)。后者路徑的解決方案很簡(jiǎn)單,云可以通過(guò)模擬數(shù)據(jù)直接驗(yàn)證。
吉利汽車(chē)研究所生成數(shù)據(jù)模擬部負(fù)責(zé)人梁振寶曾指出,在選擇大模型生成虛擬場(chǎng)景后,測(cè)試場(chǎng)景的覆蓋率提高了幾十倍。
過(guò)去,軟件定義汽車(chē),將汽車(chē)從一種固定的硬件產(chǎn)品轉(zhuǎn)變?yōu)橐环N可以自主學(xué)習(xí)、不斷更新的用戶(hù)產(chǎn)品;現(xiàn)在 AI 汽車(chē)的定義,汽車(chē)再一次從用戶(hù)產(chǎn)品轉(zhuǎn)變?yōu)橹悄墚a(chǎn)品。
當(dāng)然,這種實(shí)現(xiàn)離不開(kāi)許多汽車(chē)公司的粉絲,以吳新宙的前雇主小鵬為例。
在自動(dòng)駕駛方面,小鵬拿出了 ALL IN AI 前不久的態(tài)度和決心 AI DAY 事實(shí)上,小鵬發(fā)布了國(guó)內(nèi)第一個(gè)量產(chǎn)上車(chē)的端到端模型:
感知神經(jīng)網(wǎng)絡(luò) XNet 規(guī)控大模型 XPlanner AI 大語(yǔ)言模型 XBrain,并推出了 AI 代駕、AI 停車(chē)功能,以及將軍 AI 全面應(yīng)用于駕駛艙和智能駕駛。 AI 天璣系統(tǒng)。
另外,小鵬對(duì) AI 2024年,技術(shù)投入也竭盡全力, 年將投入 35 1億元用于智能研發(fā),新招募 4000 著名的專(zhuān)業(yè)人才,以后每年都會(huì)投入超過(guò)。 7 用于算率訓(xùn)練的億元。
毫無(wú)疑問(wèn),小鵬對(duì)此 AI 重投,是因?yàn)楹涡※i和吳新宙的觀點(diǎn)一致,智能汽車(chē)的新十年,將由 AI 定義。
越來(lái)越多的汽車(chē)公司,包括小鵬,都在朝著這個(gè)潮汐方向涌動(dòng)。
比如華為、地平線等智能駕駛上游客戶(hù),通過(guò)自主研發(fā)升騰和征程芯片,搭建智能駕駛計(jì)算平臺(tái),為汽車(chē)公司量產(chǎn)智能駕駛提供核心幫助。
蔚來(lái)、小鵬、理想、智己等汽車(chē)公司都進(jìn)入了 AI 智能駕駛的戰(zhàn)備狀態(tài),紛紛上車(chē)端到端大模型,加速開(kāi)城進(jìn)步。
畢竟,當(dāng) AI 技術(shù)開(kāi)始了一場(chǎng)大爆炸,自動(dòng)駕駛迎來(lái)了自己的奇點(diǎn)時(shí)刻,誰(shuí)也要小心自己落后。
02 生成式 AI,究竟有什么魅力?
AI 汽車(chē)時(shí)代的定義還有多久?
吳新宙認(rèn)為這段時(shí)間是五年之內(nèi),并聲稱(chēng)「這是不可避免的?!?/p>
一個(gè)大背景是,以 ChatGPT 以生成式為代表 AI,正在大規(guī)模席卷而來(lái),AI 技術(shù)已經(jīng)上升到了前所未有的高度,自動(dòng)駕駛的天花板也進(jìn)一步上升。
所謂生成式 AI,它是一種基于算法、模型、規(guī)則生成文本、照片、聲音、視頻、代碼等內(nèi)容的技術(shù),它由一系列深度學(xué)習(xí)模型組成。
而且這種生成式 AI 網(wǎng)絡(luò)虛擬數(shù)據(jù)被廣泛應(yīng)用于網(wǎng)絡(luò)虛擬世界,網(wǎng)絡(luò)虛擬數(shù)據(jù)被收集和生成。
相當(dāng)于搭建了一座自動(dòng)駕駛的橋梁,將生成式 AI 與物理學(xué)世界相連,從此,生成式 AI 實(shí)現(xiàn)物理學(xué)世界的技術(shù)進(jìn)化,將自動(dòng)駕駛帶到端到端的路口。
換言之,端到端自動(dòng)駕駛,能突破瓶頸,走向落地,正是基于生成式駕駛。 AI 技術(shù)創(chuàng)新。
與傳統(tǒng)的自動(dòng)駕駛相比,端到端自動(dòng)駕駛直接從輸入到導(dǎo)出,而不是分割感知、預(yù)測(cè)、規(guī)劃、控制等子任務(wù)。就像人腦一樣,接收信息可以立即做出決策。它只需要處理感知和認(rèn)知問(wèn)題,這是通往自動(dòng)駕駛的可靠理想路徑。
但是這一路徑的實(shí)現(xiàn),需要大規(guī)模、多樣化、高質(zhì)量的訓(xùn)練數(shù)據(jù)作為支撐,而且對(duì)算率規(guī)模、算法路徑的要求也很高。
由于在高級(jí)自動(dòng)駕駛中,已經(jīng)不能局限于簡(jiǎn)單的直行向右、繞過(guò)行人等駕駛動(dòng)作,而是要求 AI 進(jìn)行類(lèi)人思考,包括看到交警手勢(shì)示意后左轉(zhuǎn),碰到塑料瓶可以壓過(guò)去,碰到救護(hù)車(chē)要讓路等等。
假如把這些場(chǎng)景放在傳統(tǒng)的自動(dòng)駕駛思維上,那么每個(gè)特殊場(chǎng)景都應(yīng)該設(shè)計(jì)一種從感知、預(yù)測(cè)到控制的駕駛策略。
很明顯,這是不現(xiàn)實(shí)的。
這樣的行為不僅訓(xùn)練費(fèi)用高而且效率低,而且僅靠人工策略也無(wú)法窮盡每一個(gè)意想不到的情況。
而生成式 AI 技術(shù)可以解決這些問(wèn)題,其中,大語(yǔ)言模型 (LLM) 和視覺(jué)語(yǔ)言模型 (VLM) 最具代表性。
比如引入大語(yǔ)言模型 (LLM) 后,AI 駕駛相關(guān)知識(shí)可以從人類(lèi)社會(huì)知識(shí)庫(kù)中獲得,并作出輔助決策。也就是說(shuō),看到塑料瓶,AI 根據(jù)人類(lèi)過(guò)去的行為,可以推斷出不需要停下來(lái)的駕駛決定。
同時(shí)也能識(shí)別自然語(yǔ)言,即能及時(shí)給出用戶(hù)指令的正確反饋,在車(chē)機(jī)交互中表現(xiàn)良好。
包括視覺(jué)語(yǔ)言模型和視覺(jué)語(yǔ)言模型 (VLM) ,將圖像識(shí)別與表達(dá)處理相結(jié)合,可解決問(wèn)題 AI 如何感知環(huán)境問(wèn)題。
視覺(jué)信息可以通過(guò)攝像頭捕獲的圖像來(lái)描述,識(shí)別路標(biāo)、交通燈、行人等關(guān)鍵視覺(jué)元素,也可以直接在駕駛決策中使用。
所有這些大模型都是基于 Transformer 通過(guò)對(duì)大規(guī)模文本、圖像等數(shù)據(jù)的訓(xùn)練,結(jié)構(gòu)具有較強(qiáng)的數(shù)據(jù)處理、生成能力。
生成式 AI 深入學(xué)習(xí)技術(shù)的邏輯, AI 模型不僅可以提高基準(zhǔn)測(cè)試數(shù)據(jù)的質(zhì)量,還可以自動(dòng)建立和生成現(xiàn)實(shí)世界中難以或無(wú)法收集的數(shù)據(jù)場(chǎng)景,處理數(shù)據(jù)匱乏和數(shù)據(jù)質(zhì)量問(wèn)題。
它還表明,它可以應(yīng)對(duì)長(zhǎng)尾、邊緣案例,進(jìn)一步保證算法的準(zhǔn)確性和安全性。
更為重要的是,數(shù)據(jù)訓(xùn)練的成本降低,效率提高。
馬斯克曾透露,通過(guò)大型神經(jīng)網(wǎng)絡(luò)模型,人工編程。 C 控制代碼由 30 萬(wàn)行減少到了 3000 行。
在生成式 AI 在技術(shù)的加持下,端到端自動(dòng)駕駛打破了傳統(tǒng)的瓶頸,從技術(shù)研發(fā)到落地量產(chǎn)都有了解。
對(duì)吳新宙來(lái)說(shuō),端到端將成為自動(dòng)駕駛的最后一章。
值得注意的是,吳新宙對(duì)端到端自動(dòng)駕駛的迭代問(wèn)題采取了更加理性的態(tài)度。
一方面,端到端模型需要不斷優(yōu)化和成長(zhǎng),未來(lái)一定足夠強(qiáng)大。但是,這個(gè)過(guò)程需要與原始模型緊密聯(lián)系,通過(guò)原始模型和方法保證安全。這是端到端自動(dòng)駕駛大規(guī)模部署,成為主流的重要過(guò)程。
另外一方面,針對(duì)「黑盒化」可以分為兩個(gè)方面來(lái)解決問(wèn)題:
一個(gè)是結(jié)合傳統(tǒng)的算法棧,確保端到端模型的安全性,并且判斷模型決定的合理性,輸入雙方存在差異的地方。
另一個(gè)是觀察端到端大模型設(shè)置周?chē)膶?dǎo)出點(diǎn)。,例如可觀察 DEV 輸出結(jié)果,只進(jìn)行部分訓(xùn)練等。打開(kāi)黑盒子里的幾扇窗戶(hù),看看信號(hào)是怎樣的。
吳新宙在明確了當(dāng)前端到端瓶頸的破解思路之后,對(duì)這一技術(shù)熱潮有了堅(jiān)定的信念,「端到端自動(dòng)駕駛肯定會(huì)到來(lái)。」
另外,除端到端自動(dòng)駕駛開(kāi)啟技術(shù)升維外,生成式 AI 也可以應(yīng)用于汽車(chē)行業(yè)的各個(gè)環(huán)節(jié),如駕駛艙、汽車(chē)設(shè)計(jì)等。
比如問(wèn)界采用生成式 AI 技術(shù)創(chuàng)造的時(shí)間壁紙,可以根據(jù)時(shí)間段的變化動(dòng)態(tài)變化,利用不同的光影動(dòng)畫(huà)特效豐富汽車(chē)場(chǎng)景;
極限人工智能助手——SIMO,同樣是基于生成式 AI,可集車(chē)輛助理、旅行助理、娛樂(lè)助理、百科老師于一體,擁有超過(guò) 1,000 種類(lèi)以上的專(zhuān)屬能力,無(wú)論是交互效率還是創(chuàng)新感受都可圈可點(diǎn)。
在吳新宙眼中,生成式 AI 讓很多不可能的事情成為可能,大大拓展了人類(lèi)創(chuàng)造力的界限,通過(guò)最直觀的方式有效地向設(shè)計(jì)師展示各種概率,時(shí)間最短。
甚至,它將推動(dòng)人類(lèi)第四次工業(yè)革命。
回顧前三次人類(lèi)社會(huì)革命浪潮:
蒸汽機(jī)、電力和信息技術(shù),每次出現(xiàn)先進(jìn)的生產(chǎn)力元素,都會(huì)使行業(yè)發(fā)生顛覆性的變化,而這種變化通常是質(zhì)變。
這種質(zhì)變可以簡(jiǎn)單概括為解放生產(chǎn)力,發(fā)展生產(chǎn)力。把這句話放在今天的生成中 AI 身體上確認(rèn),會(huì)發(fā)現(xiàn)還是可行的。
生成式 AI 使機(jī)器具有與人腦相同的思考和對(duì)話能力,而不局限于數(shù)據(jù)學(xué)習(xí)和處理。
因此,亞當(dāng)斯密分工論的主角不再是人,而是人與人, AI。
所以,在高效率下,是經(jīng)濟(jì)微笑的持續(xù)輝煌曲線。
就像今天的自動(dòng)駕駛一樣,方向盤(pán)上的雙手再次解放,AI 有可能控制物理世界。
03 英偉達(dá)的野心:全棧自動(dòng)駕駛方案
回到英偉達(dá)本身,對(duì)于自動(dòng)駕駛的落地方法論,英偉達(dá)已經(jīng)形成了系統(tǒng)的解決方案。
一是回歸芯片本身,保證在汽車(chē)公司自主研發(fā)芯片,英偉達(dá)也可以生產(chǎn)出更大算率、更快變化的商品。
端到端自動(dòng)駕駛性能如何,取決于數(shù)據(jù)、算法、算率能否跟上,這是底層基礎(chǔ)。
另一方面,從 L2 邁向 L4/L5 每次進(jìn)階,對(duì)數(shù)據(jù)、算法、算率都提出了更高的要求。
而且英偉達(dá)的芯片正好掐中了算率命脈。最新一代英偉達(dá) DRIVE Thor 例如,計(jì)算率已經(jīng)達(dá)到 2000 TOPS,這是上一代 Orin 芯片 8 倍,更是特斯拉 FSD 的 28 倍。
DRIVE Thor 還引入了 Transformer 發(fā)動(dòng)機(jī),這意味著在深度神經(jīng)網(wǎng)絡(luò)上安裝加速器,提高其推理性能。 9 倍。
顯然,英偉達(dá)創(chuàng)造了一個(gè)適合端到端自動(dòng)駕駛的芯片。
吳新宙甚至使用了三個(gè)「最」來(lái)定義它:最高計(jì)算能力,最高安全等級(jí),生成 AI、LLM 給予最好的支持。
目前,基于 DRIVE Thor 既有上汽、長(zhǎng)城等傳統(tǒng)汽車(chē)公司,也有極氪、智己、小米、蔚來(lái)、小鵬等新動(dòng)力。
二是全棧軟硬件服務(wù)方案。
英偉達(dá)除繼續(xù)垂直延伸芯片業(yè)務(wù)外,還在橫向擴(kuò)大自己在自動(dòng)駕駛應(yīng)用領(lǐng)域的界限。
這可能就是吳新宙對(duì)英偉達(dá)的吸引力。前者在全棧硬件系統(tǒng),尤其是軟件量產(chǎn)方面的經(jīng)驗(yàn),是英偉達(dá)未來(lái)汽車(chē)業(yè)務(wù)長(zhǎng)期發(fā)展的重要競(jìng)爭(zhēng)力。
歸根結(jié)底,黃仁勛一直對(duì)汽車(chē)業(yè)務(wù)寄予希望,「這輛車(chē)將是我們接下來(lái)的幾十億美元業(yè)務(wù)。?!?/p>
然而,英偉達(dá)也感受到了一種危機(jī)感,因?yàn)槠?chē)公司正在轉(zhuǎn)向全棧自主研發(fā)。在地平線、華為、高通、黑芝麻等芯片公司吞噬市場(chǎng)份額的背景下。
所以,吳新宙的首要任務(wù),就是整合和調(diào)度英偉達(dá)的資源,實(shí)施軟硬件一體化的全棧落地戰(zhàn)略。
當(dāng)前,英偉達(dá)已與比亞迪形成端到端全棧式合作,包括汽車(chē)端芯片,DRIVE Orin、DRIVE Thor,智能駕駛芯片,數(shù)據(jù)中心端解決方案。
自然,在量產(chǎn)競(jìng)爭(zhēng)中,速度是決勝的關(guān)鍵,吳新宙必須盡快讓英偉達(dá)達(dá)「卷」起來(lái)。
他把英偉達(dá)的自動(dòng)駕駛計(jì)劃分成三步。
步驟一,商品在那里 L2 和 L2 在系統(tǒng)中達(dá)到市場(chǎng)第一梯隊(duì);
第二步,在 L2 領(lǐng)域取得突破,達(dá)到行業(yè)領(lǐng)先水平;
第三步,在 2026 年量產(chǎn) L3,完全從系統(tǒng)中取出人。
現(xiàn)在,英偉達(dá)整體上已開(kāi)始完全布局生成式大模型,并將其放在一邊。 VLM、LLM 應(yīng)用于自動(dòng)駕駛,打通上游模型和下游模型。
吳新宙對(duì)此非常興奮,他看到了生成式。 AI 隨著技術(shù)的實(shí)現(xiàn),英偉達(dá)正在一步步接近自動(dòng)駕駛的真正價(jià)值。
「我們的核心是讓我們不要在車(chē)?yán)镩_(kāi)車(chē),開(kāi)車(chē)不僅僅是需要, A 點(diǎn)至 B 點(diǎn)是剛需,看手機(jī)也是剛需?!?/p>
據(jù)了解,吳新宙加入后,將英偉達(dá)自動(dòng)駕駛的弦崩得最緊。比如智能駕駛核心團(tuán)隊(duì)在短時(shí)間內(nèi)迅速成立,實(shí)施高工作強(qiáng)度和快節(jié)奏,努力落地。 L2 智能駕駛產(chǎn)品,加速全景迭代速度,實(shí)車(chē)路測(cè)進(jìn)度等。
對(duì)于英偉達(dá)來(lái)說(shuō),要盡快填補(bǔ)自動(dòng)駕駛?cè)珬7桨嘎涞胤矫娴牟蛔悖岣咂?chē)業(yè)務(wù)收入的比例;
對(duì)于吳新宙來(lái)說(shuō),成為英偉達(dá)自動(dòng)駕駛的領(lǐng)航員,主要意義在于改變汽車(chē)公司的經(jīng)驗(yàn),幫助芯片巨頭英偉達(dá)明確汽車(chē)公司的需求,突破他們之間的合作瓶頸和落地障礙。
可以肯定的是,吳新宙的加入是英偉達(dá)實(shí)現(xiàn)全棧方案落地的關(guān)鍵籌碼,也是占領(lǐng)中國(guó)乃至世界自動(dòng)駕駛市場(chǎng)蛋糕的有力打擊。
本文來(lái)自微信微信官方賬號(hào)“汽車(chē)之心”(ID:Auto-Bit),作家:劉佳藝,編輯:白雪,36氪經(jīng)授權(quán)發(fā)布。
本文僅代表作者觀點(diǎn),版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com