IT 世家 6 月 1 日消息，銀河通用發(fā)布了世界上第一個(gè)商品級端到端。 FSD 大模型 —— TrackVLA，一個(gè)純粹的視覺環(huán)境感知，語言指令驅(qū)動，可以獨(dú)立推理，有零樣本。（Zero-Shot）具體大模型的泛化能力。

據(jù) IT 世家了解，TrackVLA 它是銀河通用推出的產(chǎn)品級導(dǎo)航模型。它是一種由模擬生成動作數(shù)據(jù)訓(xùn)練的“視覺化”，純視覺環(huán)境感知、自然語言指令驅(qū)動、端到端導(dǎo)出語言和機(jī)器人動作。 - 語言 - 動作"（Vision-Language-Action, VLA）大模型。它使機(jī)器人擁有“聽” → 看 → 懂 → “行走”閉環(huán)運(yùn)動能力:一雙眼睛看世界，一個(gè)智能“大腦”做推理，真正實(shí)現(xiàn)語言驅(qū)動、泛化感知、自我推理、智能交互和運(yùn)動，無需提前建圖或依靠遙控。

TrackVLA 八大核心能力：

1. 理解你的演講，還可以換人跟你說話。

你只需要說一句“跟著媽媽”，它就能立刻識別出“媽媽”對應(yīng)的目標(biāo)位置。如果你改變主意說“和孩子一起”，它也可以通過語音回復(fù)瞬間改變目標(biāo)并確定。甚至，Ta 也可以跟蹤你的寵物。這背后是模型所具有的自然語言理解和目標(biāo)識別能力的協(xié)調(diào)。

2. 不要害怕人多也不要和錯(cuò)人

在擁擠的購物中心，面對復(fù)雜的場景和多變的環(huán)境，可以準(zhǔn)確識別原始目標(biāo)，長期獨(dú)立跟隨。通過空間理解和視覺記憶機(jī)制，防止“認(rèn)錯(cuò)人”。

3. 失去目標(biāo)可以找回

如果目標(biāo)走出視線，不會原地“發(fā)呆”，而是根據(jù)目標(biāo)軌跡“分析”目標(biāo)的大致位置，通過實(shí)時(shí)空間智能和大模型推理能力，規(guī)劃軌跡重新找回目標(biāo)。

4. 從未見過的區(qū)域也可以走。

TrackVLA 不依賴?yán)L圖，通過純視覺輸入了解環(huán)境?？梢灾苯硬渴鹪谏枭虉?、電梯、游樂區(qū)等環(huán)境中，不依賴額外的培訓(xùn)數(shù)據(jù)，實(shí)現(xiàn)長期穩(wěn)定獨(dú)立的跟隨。

5. 適應(yīng)復(fù)雜場景，靈活避障。

在兒童游樂區(qū)、狹窄通道等復(fù)雜場景下，可以實(shí)時(shí)識別障礙物(包括兒童、玩具、路面水痕等)。)，分析可以通過的區(qū)域，正確認(rèn)識自己的能力，獨(dú)立推斷出自己構(gòu)型支持的合理路線。

6. 環(huán)境光變化？不要害怕

從室外的陽光到室內(nèi)的黑暗，從電梯鏡反射到超市貨架的縫隙，TrackVLA 表現(xiàn)出極強(qiáng)的魯棒性，無需特殊的調(diào)參或切換模式。

7. 遠(yuǎn)程可視守護(hù)，一目了然。

通過 App，你可以實(shí)時(shí)看到機(jī)器人眼中的第一個(gè)視角，掌握家庭動態(tài)。系統(tǒng)還可以主動提示風(fēng)險(xiǎn)行為(如兒童奔跑、老人摔倒)，提供“移動守護(hù)”。

8. 技能涌現(xiàn)！

TrackVLA 它不僅能順利跟隨人類，還能泛化到隨意移動的目標(biāo)。比如視頻最后展示了一只動物狗，讓機(jī)器狗跟著路上遇到的東西。它的目標(biāo)形式、運(yùn)動方式和障礙都非常不確定。TrackVLA 同時(shí)也表現(xiàn)出同樣穩(wěn)定的跟隨能力，而且這種能力是在訓(xùn)練過程中教授的！

現(xiàn)在，這個(gè)模型已經(jīng)配備了宇樹機(jī)器狗化身“二寶保鏢”來實(shí)現(xiàn)兒童護(hù)理，并且在沒有經(jīng)過訓(xùn)練的真實(shí)場景中完成了嚴(yán)格的長程驗(yàn)證。目前 TrackVLA 嚴(yán)格的長程驗(yàn)證已經(jīng)在沒有經(jīng)過訓(xùn)練的真實(shí)場景中完成:在超市里穿梭在人流和貨架之間，準(zhǔn)確跟隨母子；根據(jù)語音命令改變目標(biāo)，在孩子玩耍時(shí)給出提示；可以正確認(rèn)識自己的能力，用大模型獨(dú)立推理分析；從電梯進(jìn)入不熟悉的商場，完成持續(xù)的跟蹤任務(wù)；在擁擠的服裝店中穩(wěn)定識別并避免他人的影響...

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com