英偉達(dá)發(fā)布了開源機(jī)器人推理模型Cosmos Reason，此模型支持復(fù)雜指令的分解與執(zhí)行。

在SIGGRAPH大會(huì)上，英偉達(dá)推出了開源物理AI與機(jī)器人視覺推理模型Cosmos Reason，它能夠把復(fù)雜指令分解為任務(wù)，并憑借常識(shí)來執(zhí)行。

在當(dāng)?shù)貢r(shí)間周一開幕的行業(yè)頂級(jí)會(huì)議SIGGRAPH（國(guó)際計(jì)算機(jī)協(xié)會(huì)計(jì)算機(jī)圖形學(xué)和交互技術(shù)特別興趣小組年度會(huì)議）上，“全球股王”英偉達(dá)推出了一系列面向機(jī)器人開發(fā)者的世界模型、應(yīng)用庫(kù)和基礎(chǔ)設(shè)施。

其中，最受關(guān)注的是參數(shù)量?jī)H70億的開源物理AI應(yīng)用和機(jī)器人視覺推理模型Cosmos Reason。

英偉達(dá)表示，自O(shè)penAI多年前發(fā)布CLIP模型后，視覺語(yǔ)言模型改變了計(jì)算機(jī)視覺任務(wù)，如物體與模式的識(shí)別等。不過，此前的模型無法解決多步驟任務(wù)，也難以應(yīng)對(duì)模糊或新穎的現(xiàn)實(shí)體驗(yàn)。

憑借記憶和理解能力，Cosmos Reason能讓機(jī)器人和AI具身代理“像人類一樣推理”，并在真實(shí)世界中采取行動(dòng)。

在英偉達(dá)給出的案例中，運(yùn)行視覺推理模型的機(jī)器人手臂，依據(jù)“面包 + 烤面包機(jī)”的場(chǎng)景，成功推斷出最合理的下一步動(dòng)作是將面包放進(jìn)烤面包機(jī)烘烤，并把思考邏輯轉(zhuǎn)化為機(jī)器手臂的操作指令。

（來源：英偉達(dá)）

這項(xiàng)功能被稱為“機(jī)器人規(guī)劃與推理”。Cosmos Reason可作為機(jī)器人的“大腦”，負(fù)責(zé)有意識(shí)、條理化的決策。視覺推理模型能解釋環(huán)境，面對(duì)復(fù)雜指令時(shí)將其分解為任務(wù)并利用常識(shí)執(zhí)行。

此外，這個(gè)模型還可用于一系列AI應(yīng)用。例如自動(dòng)化對(duì)大規(guī)模、多樣化訓(xùn)練數(shù)據(jù)集進(jìn)行整理、標(biāo)注，也能從海量視頻數(shù)據(jù)中提取有價(jià)值的信息并進(jìn)行歸因分析。

目前該模型已投入商業(yè)化運(yùn)營(yíng)。英偉達(dá)透露，公司內(nèi)部的機(jī)器人和自動(dòng)駕駛團(tuán)隊(duì)正使用這個(gè)模型進(jìn)行數(shù)據(jù)整理與過濾、標(biāo)注以及VLA（視覺語(yǔ)言動(dòng)作）后訓(xùn)練。優(yōu)步（Uber）也在使用該模型為自動(dòng)駕駛訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)注與生成說明。

除此之外，麥格納國(guó)際正在使用該模型開發(fā)全自動(dòng)即時(shí)配送解決方案City Delivery，以幫助車輛更快適應(yīng)新城市環(huán)境。VAST Data、Milestone Systems也在交通監(jiān)控自動(dòng)化、視覺檢測(cè)等領(lǐng)域應(yīng)用該模型。

除了Cosmos Reason，英偉達(dá)還在Cosmos世界模型中新增了Cosmos Transfer - 2，用于加速?gòu)?D仿真等場(chǎng)景生成合成數(shù)據(jù)，以及一個(gè)經(jīng)過蒸餾、更注重速度優(yōu)化的Cosmos Transfers版本。

英偉達(dá)還在周一更新了Omniverse軟件開發(fā)工具包，并公布了新的神經(jīng)重建庫(kù)。其中包括一種渲染技術(shù)庫(kù)，允許開發(fā)者使用傳感器數(shù)據(jù)在三維中模擬現(xiàn)實(shí)世界。

這一系列發(fā)布標(biāo)志著AI芯片巨頭英偉達(dá)正在加大進(jìn)軍機(jī)器人領(lǐng)域的力度，試圖將其培育成AI數(shù)據(jù)中心之外的下一個(gè)重要應(yīng)用場(chǎng)景。

本文來自微信公眾號(hào)“科創(chuàng)板日?qǐng)?bào)”，作者：史正丞，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com