英偉達升級Cosmos世界模型,為機器人打造智能“大腦”并推新服務器
老黃對機器人的看好并非空談!
在正在舉辦的SIGGRAPH(計算機圖形學)大會上,英偉達為機器人帶來了全新升級的Cosmos世界模型。
Cosmos主要用于生成符合現實世界物理規(guī)律的合成數據,自發(fā)布后,已被Figure、Agility Robotics、通用汽車等眾多知名機器人和自動駕駛公司采用。
此次升級重點集中在規(guī)劃能力和生成速度兩方面:
- 推出Cosmos Reason:這是一款70億參數、具備推理能力的視覺語言模型,可助力機器人進行任務規(guī)劃。
- 新增Cosmos Transfer - 2&精簡版:能加速將虛擬場景轉化為訓練數據,還提供了更快的輕量化版本。
除軟件更新外,英偉達還對機器人開發(fā)配套技術與硬件進行了全面升級,涵蓋全新的Omniverse庫、RTX PRO Blackwell服務器,以及DGX Cloud云平臺等。
英偉達人工智能研究副總裁Sanja Fidler表示:
AI正在提升我們的模擬能力,而模擬能力也在推動AI系統(tǒng)的發(fā)展。這兩個領域之間存在著真實而強大的結合,這種結合很少有人能做到。
如今,英偉達憑借一整套機器人開發(fā)基礎設施,全力沖擊這一融合新高地。
軟硬件都更新了
先來看具體更新內容。
軟件層面,僅7B大小的Cosmos Reason值得關注。
官方稱,該模型不僅有扎實的物理理解能力,還能運用常識進行多步推理,可作為機器人的“大腦”。
通過記憶和推理,它可以作為一個規(guī)劃模型,推理實體Agent下一步可能采取的步驟。
同時,英偉達推出了加速合成數據生成的Cosmos Transfer - 2及其更輕量的精簡版,大幅縮短了從虛擬場景或空間控制信息到訓練數據的轉換時間。
精簡版將70步蒸餾過程簡化為1步,能在RTX PRO服務器上更高速運行。
為配合這些模型,英偉達發(fā)布了功能更強大的Omniverse新庫與SDK,支持機器人開發(fā)者更便捷地進行三維重建、仿真及跨平臺數據互通,具體如下:
1、實現了MuJoCo和OpenUSD這兩種機器人仿真格式的數據兼容,方便大量開發(fā)者在不同平臺間進行機器人模擬。
2、引入Omniverse RTX光線追蹤和3D高斯渲染技術,使開發(fā)者能利用傳感器數據以三維形式捕捉、重建并模擬現實世界。
3、在GitHub開源機器人仿真和學習工具Isaac Sim 5.0與Isaac Lab 2.2,結合新渲染技術和統(tǒng)一的數據格式,幫助機器人開發(fā)者縮小虛擬仿真和現實環(huán)境的差距。
總之,Cosmos + Omniverse這對黃金搭檔(前者構建逼真、高效的三維仿真和數字孿生環(huán)境,后者專注提供強大的物理AI模型和智能推理能力)結合,能為機器人訓練生成更精確、大規(guī)模的數據。
解決數據問題后,還有硬件問題。
為此,英偉達專門推出了RTX PRO Blackwell服務器,覆蓋訓練、合成數據生成、機器人學習與仿真等工作負載。
借助DGX Cloud,開發(fā)者可隨時隨地通過云端高效運行Omniverse和Cosmos相關應用,輕松實現大規(guī)模仿真與訓練任務,降低了硬件門檻和運維成本。(目前DGX Cloud已上線微軟云市場)
英偉達全力押注機器人領域
從上述動作可知,英偉達正大力布局機器人研發(fā)領域。
官方在一篇最新博客中介紹了背后考量,總結為:
計算機圖形與AI正在融合,將從根本上改變機器人領域。
以圖形學發(fā)家的英偉達,看到圖形學和AI融合趨勢及其對機器人領域的重要影響,選擇將機器人作為下一個關注重點。
例如,傳統(tǒng)機器人訓練依賴現實數據,獲取成本高且受限,而計算機圖形技術可打造逼真的虛擬環(huán)境,結合AI實現物理精確的仿真。
這樣能降低機器人學習技能的門檻和成本,加速機器人落地應用。
英偉達研究副總裁Ming - Yu Liu認為,英偉達的目標是構建一個完整、逼真且可擴展的“虛擬平行宇宙”,讓機器人能在其中安全反復試驗、不斷進化。
物理AI需要一個逼真的虛擬環(huán)境,讓機器人能夠在這個安全的平行世界中反復試驗、不斷學習。
要打造這樣一個虛擬世界,我們必須結合實時渲染、計算機視覺、物理運動模擬,以及2D和3D生成式AI與AI推理技術。這些正是英偉達研究團隊過去二十年持續(xù)專注和不斷打磨的核心領域。
顯然,“機器人虛擬世界”構建成功后,英偉達能將這套基礎設施賦能更多開發(fā)者和企業(yè),助其開發(fā)各種機器人和AI應用。
如此,英偉達既能穩(wěn)固在圖形領域的領先地位,又能在具身智能時代繼續(xù)扮演“賣鏟人”角色。
而且從老黃近期公開動作看,他對中國機器人頗為偏愛。
他不僅在各種場合夸贊,還像早期給OpenAI送超算一樣,將首批Jetson Thor芯片送到國產玩家銀河通用手中。
此外,英偉達還與阿里云、北京人形機器人創(chuàng)新中心、傅利葉、加速進化、優(yōu)必選、智元機器人等企業(yè)達成深度合作。阿里云宣布,英偉達全棧機器人及物理AI組件已通過其云端服務開放使用。
可以說,英偉達在國內賣機器人鏟子的生意漸入佳境。
Cosmos開源地址:https://github.com/nvidia - cosmos
參考鏈接:
[1]https://techcrunch.com/2025/08/11/nvidia-unveils-new-cosmos-world-models-other-infra-for-physical-applications-of-ai/
[2]https://investor.nvidia.com/news/press-release-details/2025/NVIDIA-Opens-Portals-to-World-of-Robotics-With-New-Omniverse-Libraries-Cosmos-Physical-AI-Models-and-AI-Computing-Infrastructure/default.aspx
本文來自微信公眾號“量子位”,作者:一水,36氪經授權發(fā)布。
本文僅代表作者觀點,版權歸原創(chuàng)者所有,如需轉載請在文中注明來源及作者名字。
免責聲明:本文系轉載編輯文章,僅作分享之用。如分享內容、圖片侵犯到您的版權或非授權發(fā)布,請及時與我們聯系進行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com