端到端在中國(guó)，將從一個(gè)熱詞變成現(xiàn)實(shí)。

日前，辰韜資本聯(lián)合多家單位發(fā)布了《端到端自動(dòng)駕駛行業(yè)2024年研究報(bào)告》(以下簡(jiǎn)稱(chēng)《報(bào)告》)認(rèn)為：國(guó)內(nèi)自動(dòng)駕駛公司的模塊化端到端方案可能在2025年上車(chē)量產(chǎn)。

報(bào)告將“端到端”發(fā)展四個(gè)階段：感知“端到端”、模型化的決策規(guī)劃，模塊化的端到端，One 端到端的Model。

而One 從2026年到2027年，Model端到端系統(tǒng)的中性預(yù)期落地時(shí)間可以晚于模塊化端到端1~2年，從2026年到2027年。

它符合我國(guó)頭部相關(guān)企業(yè)的規(guī)劃。

目前，國(guó)內(nèi)頭部乘用車(chē)自動(dòng)駕駛企業(yè)，包括華為、小鵬、元戎啟動(dòng)、商湯絕影等。，已于2024-2025年公開(kāi)啟動(dòng)端自動(dòng)駕駛計(jì)劃。。

端到端將如何從熱詞到現(xiàn)實(shí)落地？

01 端到端是什么？

端到端的概念已經(jīng)存在，應(yīng)用于自動(dòng)駕駛行業(yè)。最初的核心定義是“從傳感器輸入到控制輸出的單一神經(jīng)網(wǎng)絡(luò)模型”。

但是經(jīng)過(guò)調(diào)查，報(bào)告認(rèn)為，端到端的核心定義標(biāo)準(zhǔn)應(yīng)該是：感知信息無(wú)損傳遞，可以實(shí)現(xiàn)自動(dòng)駕駛系統(tǒng)的全局優(yōu)化。并且可以分為四個(gè)階段：感知“端到端”、模型化的決策規(guī)劃，模塊化的端到端，One 端到端的Model。

第一階段和第二階段都可以感知信息的無(wú)損傳遞，可以進(jìn)行梯度傳遞。

雖然模塊化端到端仍然分為多個(gè)模塊，但每一個(gè)模塊都可以模型化，然后感知信息無(wú)損傳遞，可以實(shí)現(xiàn)全局優(yōu)化。模塊化端到端仍然屬于判別/監(jiān)督學(xué)習(xí)的類(lèi)型。

One Model是一種基于生成大模型概念的生成/自回歸模式，依賴(lài)LLM或世界模型。

為什么自動(dòng)駕駛行業(yè)從現(xiàn)在開(kāi)始從端到端進(jìn)行技術(shù)轉(zhuǎn)型？

零一汽車(chē)智能駕駛合伙人，前圖森感知負(fù)責(zé)人王邈渠在發(fā)布報(bào)告的研討會(huì)上表示，傳統(tǒng)算法系統(tǒng)在實(shí)施過(guò)程中面臨許多挑戰(zhàn):

分割模塊導(dǎo)致結(jié)構(gòu)復(fù)雜。傳統(tǒng)算法系統(tǒng)一般有三四十個(gè)模塊，每個(gè)模塊的上限都不高，但是信息傳輸和系統(tǒng)優(yōu)化難度大，模塊和系統(tǒng)之間的局部和整體優(yōu)化目標(biāo)矛盾；

開(kāi)發(fā)費(fèi)用。隨著模塊的增加，開(kāi)發(fā)/維護(hù)/人工成本飆升；

泛化性差。疊加規(guī)則應(yīng)對(duì)交付壓力，導(dǎo)致維護(hù)性和可擴(kuò)展性下降；

大規(guī)模實(shí)用很難落地。目前主要產(chǎn)品只能在有限的情況下定點(diǎn)(如某些城市/示范區(qū)/高速)，而不是大規(guī)模運(yùn)營(yíng)。算法和軟硬件綁定太深，更多的車(chē)型/平臺(tái)/場(chǎng)景很難適應(yīng)；

端到端則提供了解決問(wèn)題的新思路。

端到端作為一種自動(dòng)駕駛產(chǎn)品。長(zhǎng)尾場(chǎng)景有很強(qiáng)的適應(yīng)能力，更擬人化。此外，基于端到端的結(jié)構(gòu)模式，“簡(jiǎn)化組織結(jié)構(gòu)，提高開(kāi)發(fā)流程效率，拆除部門(mén)墻壁。"辰韜資本投資經(jīng)理劉煜冬說(shuō)。

在實(shí)踐中，特斯拉應(yīng)用端到端神經(jīng)網(wǎng)絡(luò)架構(gòu)的FSD V12的平均接管過(guò)程從之前的166公里提高到333公里。

與此同時(shí)，大語(yǔ)言模型和生成式AI的發(fā)展表明了數(shù)據(jù)驅(qū)動(dòng)推動(dòng)自動(dòng)駕駛向AGI發(fā)展的可行性。

報(bào)告顯示，中國(guó)智能駕駛/自動(dòng)駕駛行業(yè)對(duì)端到端已經(jīng)達(dá)成戰(zhàn)略共識(shí)，大部分已經(jīng)完全擁抱或積極預(yù)測(cè)端到端，但對(duì)未來(lái)預(yù)期仍有較大分析。

對(duì)落地實(shí)踐而言，激進(jìn)者估計(jì)在2年內(nèi)，而傳統(tǒng)者則認(rèn)為需要5年以上。

有意思的是，木頭姐姐對(duì)特斯拉未來(lái)五年不能推出自動(dòng)駕駛出租車(chē)的概率判斷是“微乎其微”。

端到端是否是最終的技術(shù)路線(xiàn)，并且對(duì)當(dāng)前行業(yè)格局產(chǎn)生顛覆性的影響，受訪者的觀點(diǎn)是一半一半。

02 端到端的落地條件

戰(zhàn)略承認(rèn)，但要落地端到端還是舉步維艱。

報(bào)告認(rèn)為，端到端的落地也面臨著許多挑戰(zhàn)，包括技術(shù)路線(xiàn)、數(shù)據(jù)和計(jì)算能力要求、測(cè)試驗(yàn)證、組織資源投入等。

資料是第一個(gè)難題。

根據(jù)目前的公開(kāi)信息，特斯拉挖掘了數(shù)萬(wàn)小時(shí)的視頻數(shù)據(jù)作為FSD訓(xùn)練的需要，超過(guò)20億公里。一位自動(dòng)駕駛工程師還提到，當(dāng)他們練習(xí)端到端模型時(shí)，他們發(fā)現(xiàn)只有積累的路試數(shù)據(jù)。 2%可以用。

除了訓(xùn)練信息量之外，端到端如何做數(shù)據(jù)閉環(huán)也逐漸成為難題。

在過(guò)去，在模塊化的傳統(tǒng)系統(tǒng)中，每個(gè)模型任務(wù)都非常具體，例如檢查紅綠燈。機(jī)器學(xué)習(xí)后，可以使用數(shù)千萬(wàn)的紅綠燈數(shù)據(jù)進(jìn)行閉環(huán)驗(yàn)證和迭代。

但面對(duì)“駕駛”的全球任務(wù)端到端系統(tǒng)，可以稱(chēng)之為“閉環(huán)”的驗(yàn)證方法，即讓學(xué)習(xí)后的系統(tǒng)直接在路上行駛，由現(xiàn)實(shí)世界反饋。

但是不言而喻，在確定高安全性之前，沒(méi)有人敢讓系統(tǒng)在現(xiàn)實(shí)世界中“閉環(huán)”。與此同時(shí)，在端到端系統(tǒng)大幅降低接管率后，依靠測(cè)試車(chē)等“閉環(huán)”方式也變得更加困難。

在最近的股東大會(huì)上，特斯拉創(chuàng)始人馬斯克表示，如果沒(méi)有像特斯拉那樣的數(shù)十萬(wàn)輛車(chē)隊(duì)，通過(guò)影子模式對(duì)其系統(tǒng)進(jìn)行閉環(huán)檢測(cè)，就不能參加這個(gè)“游戲”。

光輪智能創(chuàng)始人CEO謝晨對(duì)信息量和閉環(huán)的困難表示：“在處理端到端數(shù)據(jù)短缺方面，只有特斯拉擁有特斯拉的數(shù)據(jù)量級(jí)和能力。”

生成數(shù)據(jù)需要滿(mǎn)足視覺(jué)、物理的真實(shí)性；Agent交互和規(guī)模效率的需要。“光輪的合成數(shù)據(jù)可以高度閉環(huán)復(fù)制，精確泛化，實(shí)現(xiàn)多Agent高交互。三年內(nèi)生成的數(shù)據(jù)將是大型數(shù)據(jù)最重要的信息來(lái)源。光輪智能賦予每個(gè)企業(yè)特斯拉的數(shù)據(jù)能力。放大數(shù)據(jù)價(jià)值100倍?！?/p>

另一個(gè)很明顯的計(jì)算率問(wèn)題。

通過(guò)對(duì)報(bào)告的調(diào)查，大多數(shù)受訪者表示，100個(gè)開(kāi)算率GPU(如A100)可以開(kāi)始端到端的第一階段訓(xùn)練。

但是從特斯拉和其他領(lǐng)先玩家的實(shí)踐來(lái)看，要做好端到端，對(duì)計(jì)算能力的訓(xùn)練需求顯然不僅僅是這個(gè)量級(jí)。

特斯拉在2024Q1財(cái)務(wù)報(bào)告電話(huà)會(huì)上表示，該公司已有35000張H1000張。 GPU，并且計(jì)劃在2024年增加到85000張H100以上，達(dá)到和谷歌、亞馬遜一樣的水平。

根據(jù)這一規(guī)模預(yù)期，馬斯克最近表示，特斯拉不再緊張。

在中國(guó)，小鵬“ 扶搖 "自動(dòng)駕駛智算中心，計(jì)算率可達(dá)600PFLOPS(以英偉達(dá)A100 FP32GPU計(jì)算率計(jì)算，大約等于30,000個(gè)A100。 GPU)，并且宣布今年將投入1億美元進(jìn)行算率建設(shè)，未來(lái)每年將進(jìn)一步增加投資。

商湯大設(shè)備已布局全國(guó)一體化智算網(wǎng)絡(luò)，GPU4.5萬(wàn)元，總算率達(dá)到12000PFLOPS，2024年底將達(dá)到18000PFLOPS。

目前大多數(shù)研發(fā)端到端自動(dòng)駕駛公司的實(shí)踐算率都在千卡等級(jí)。

03 端到端的國(guó)內(nèi)落地狀況

目前，國(guó)內(nèi)原始設(shè)備制造商、自動(dòng)駕駛算法和系統(tǒng)公司已經(jīng)拿出了自己的端到端系統(tǒng)，甚至有些已經(jīng)量產(chǎn)或?qū)崿F(xiàn)了定點(diǎn)。

上半年，華為、小鵬先后公布了自己的端到端系統(tǒng)。

華為乾ADS 技術(shù)結(jié)構(gòu)3.0，感知部分采用GOD(General Object Detection，大感知網(wǎng)絡(luò)，通用障礙物識(shí)別)，決策策劃部分采用 PDP(Prediction-Decision- Planning, 預(yù)測(cè)決策規(guī)控)網(wǎng)絡(luò)實(shí)現(xiàn)了一個(gè)網(wǎng)絡(luò)的預(yù)決策和規(guī)劃。

神經(jīng)網(wǎng)絡(luò)XNet小鵬端到端大模型 控制XPlanner大模型 大語(yǔ)言模型由XBrain組成。上車(chē)后，小鵬的智能駕駛能力將在18個(gè)月內(nèi)提升30倍，智能駕駛模型每2天迭代一次。

在這些模型中，小鵬的端到端模型已經(jīng)在五月份開(kāi)始推送。

從事卡車(chē)業(yè)務(wù)的零一汽車(chē)也推出了純視覺(jué)端到端自動(dòng)駕駛系統(tǒng)基于大型模型。通過(guò)多模態(tài)大語(yǔ)言模型的解碼，整個(gè)系統(tǒng)采用攝像頭和導(dǎo)航信息作為輸入，產(chǎn)生規(guī)控信號(hào)和邏輯判斷信息，減少系統(tǒng)的復(fù)雜性 90%。

零一計(jì)劃在2024年底實(shí)現(xiàn)端到端自動(dòng)駕駛的布署，2025年同時(shí)在商用車(chē)和乘用車(chē)平臺(tái)上實(shí)現(xiàn)量產(chǎn)，并且計(jì)劃在2026年實(shí)現(xiàn)高級(jí)自動(dòng)駕駛的大規(guī)模商業(yè)化運(yùn)營(yíng)。

商湯絕影是目前極少數(shù)實(shí)踐一段式端到端的智駕公司。當(dāng)我們?cè)噲D對(duì)所有場(chǎng)景進(jìn)行合理的解釋時(shí)，我們發(fā)現(xiàn)需要定義的感知和控制界面是無(wú)窮無(wú)盡的，一段式的端到端能力上限會(huì)更高。“所以，我們?cè)陂_(kāi)發(fā)端到端方案的時(shí)候，是按照一段式的方式推進(jìn)的?！鄙虦^影智能駕駛產(chǎn)品總監(jiān)趙祥磊說(shuō)。

商湯絕影端到端方案"UniAD”

在北京車(chē)展上，商湯絕影推出了端到端自動(dòng)駕駛解決方案，面向量產(chǎn)。 “UniAD“，你可以像人一樣觀察和理解外部環(huán)境，而不需要高精度的地圖。你可以像人一樣思考和做出決定，像人一樣開(kāi)車(chē)，獨(dú)立解決各種困難城市的復(fù)雜駕駛問(wèn)題。 駛情景。

同時(shí)，商湯絕影還發(fā)布了下一代自動(dòng)駕駛技術(shù)DriveAGI，即基于多模態(tài)大模型對(duì)端到端智能駕駛方案進(jìn)行改進(jìn)和優(yōu)化。 “One Model 端到端 ”。

北京車(chē)展期間，智能機(jī)器人創(chuàng)始人、CTO都大龍表示，智能原創(chuàng)自動(dòng)駕駛端到端模型 GraphAD已經(jīng)可以量產(chǎn)布署，并且正在與頭部車(chē)企聯(lián)合開(kāi)發(fā)?！?strong>端到端范式之所以被稱(chēng)為GraphAD， 因?yàn)殍b智利用圖形結(jié)構(gòu)來(lái)顯示建模目標(biāo)，包括動(dòng)態(tài)和靜態(tài)障礙物之間的關(guān)系。 ——這樣就使端到端模型更容易訓(xùn)練，也進(jìn)一步減少了對(duì)信息量的需求。?！?/p>

《報(bào)告》展望，基于自動(dòng)駕駛行業(yè)龍頭玩家提出端到端量產(chǎn)計(jì)劃，預(yù)計(jì)模塊化端到端系統(tǒng)將于2025年上車(chē)，這將推動(dòng)上游技術(shù)進(jìn)步、市場(chǎng)和產(chǎn)業(yè)格局的演變。

從技術(shù)上講，端到端的落地將推動(dòng)其依賴(lài)的上游工具鏈、芯片等加速進(jìn)步。

在市場(chǎng)端，端到端帶來(lái)的自動(dòng)駕駛體驗(yàn)的提升，將帶來(lái)高級(jí)輔助駕駛滲透率的提升；由于其強(qiáng)大的通用性，端到端也可能驅(qū)動(dòng)跨地理區(qū)域、跨中國(guó)、跨場(chǎng)景自動(dòng)駕駛的應(yīng)用。

就產(chǎn)業(yè)結(jié)構(gòu)而言，端到端使數(shù)據(jù)和AI人才的重要性進(jìn)一步提高，可能導(dǎo)致新的產(chǎn)業(yè)分工和商業(yè)模式。

本文來(lái)自微信微信官方賬號(hào)“賽博汽車(chē)”（ID：Cyber-car），作家：朱世耕，編輯：章波瀾，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com