電子發(fā)燒友網(wǎng)報道（文 / 梁浩斌）近年來，“純視覺”概念在智能駕駛領(lǐng)域頻繁被提及。特斯拉、小鵬，還有傳聞準(zhǔn)備重組的極越，都全力投入到“純視覺”智能駕駛技術(shù)中。一些智駕方案商為推動產(chǎn)品落地，也在加速推出純視覺方案以降低系統(tǒng)成本。

在機(jī)器人領(lǐng)域，傳感器應(yīng)用一直是業(yè)界研究核心。像3D ToF相機(jī)、激光雷達(dá)、毫米波雷達(dá)、觸覺傳感器和各種力矩傳感器等，在當(dāng)前主流機(jī)器人領(lǐng)域都廣泛應(yīng)用。

不過，近期發(fā)表在Nature主刊上的一篇論文，展示了機(jī)器人的“純視覺”方案。

傳統(tǒng)機(jī)器人控制方案

傳統(tǒng)機(jī)器人由高剛度材料精密加工部件構(gòu)成，結(jié)構(gòu)上通過低公差關(guān)節(jié)連接，可簡化為理想化的剛性連桿運動學(xué)鏈。為讓系統(tǒng)了解機(jī)器人狀態(tài)，需用多種傳感器監(jiān)測，如在每個關(guān)節(jié)配備高精度傳感器（像角度編碼器），實時測量關(guān)節(jié)狀態(tài)變化，這些數(shù)據(jù)用于完整重建機(jī)器人的3D位姿，再通過基于動力學(xué)模型設(shè)計的控制算法（如PID、MPC），將期望運動軌跡轉(zhuǎn)換為執(zhí)行器指令。

論文指出，傳統(tǒng)機(jī)器人控制方案存在局限性。其一，依賴機(jī)器人預(yù)設(shè)結(jié)構(gòu)和傳感器，要求機(jī)器人有離散關(guān)節(jié)和嵌入式傳感器，不適用于缺乏傳感器的軟體或混合材料機(jī)器人。

其二，在使用柔性結(jié)構(gòu)的機(jī)器人中，要解決大變形、粘彈性、材料疲勞等復(fù)雜問題，傳統(tǒng)基于連續(xù)介質(zhì)力學(xué)的模型計算成本高，難以實現(xiàn)實時控制。而且，傳統(tǒng)模型無法處理關(guān)節(jié)間隙或制造公差導(dǎo)致的非線性動態(tài)。

此外，模型對機(jī)器人公差要求極高，依賴精密制造和高性能材料，成本高、開發(fā)周期長，不利于機(jī)器人普及。

“純視覺”機(jī)器人控制方案有什么優(yōu)勢？

該論文由麻省理工學(xué)院（MIT）多位研究人員合作完成，論文前三作李思哲、張安南和陳博遠(yuǎn)，都在MIT計算機(jī)科學(xué)與人工智能實驗室（CSAIL）攻讀博士學(xué)位。

為何會想用“純視覺”構(gòu)建機(jī)器人控制系統(tǒng)？論文團(tuán)隊表示，靈感源于人類感知。人類用游戲控制器控制機(jī)器人，幾分鐘就能學(xué)會拾取和放置物體，而唯一用到的傳感器就是眼睛。

論文中的“純視覺”機(jī)器人控制方案采用了名為Visuomotor Jacobian Field（視覺運動雅可比場）的技術(shù)，這是一種機(jī)器學(xué)習(xí)方法，可利用單個視頻攝像頭的數(shù)據(jù)控制機(jī)器人。

首先，團(tuán)隊用12個消費級RGB - D視頻攝像頭捕獲的、執(zhí)行隨機(jī)生成命令的多視圖視頻訓(xùn)練框架，無需人工注釋或?qū)＜叶ㄖ凭湍軐W(xué)習(xí)控制新機(jī)器人。訓(xùn)練后，該方法僅用單個視頻攝像頭就能控制機(jī)器人執(zhí)行期望動作。

視覺運動雅可比場框架主要有兩個關(guān)鍵部分。一是基于深度學(xué)習(xí)的狀態(tài)評估模型，它能僅通過單一視頻流推斷機(jī)器人三維狀態(tài)，編碼其三維幾何形狀和微分運動學(xué)，可確認(rèn)在任何可能指令下，機(jī)器人在三維空間中任何點的移動方式。

二是逆動力學(xué)控制器，在二維圖像空間或三維空間中以密集方式將期望運動參數(shù)化，實時計算并輸出機(jī)器人控制指令。研究團(tuán)隊發(fā)現(xiàn)，將演示軌跡參數(shù)化為密集的點運動是控制各類機(jī)器人系統(tǒng)的關(guān)鍵，因為可變形和靈巧機(jī)器人的運動不能被單個三維框架上指定的剛性變換很好約束，參數(shù)化使廣泛系統(tǒng)能模仿基于視頻的演示。

最終，該方法讓團(tuán)隊獲得跨平臺的機(jī)器人控制能力。在使用16自由度的商用Allegro靈巧手測試時，關(guān)節(jié)角度誤差小于3 °，指尖位置誤差小于4mm；用3D打印的15氣動通道軟體手，能精準(zhǔn)抓取工具且具備抗遮擋能力；在采用剪切拉脹材料的HSA柔性腕平臺上應(yīng)用，附加350g負(fù)重后仍有7.3 mm精度；用3D打印的Poppy教育機(jī)械臂，零部件公差較大時，誤差小于6 mm。

此外，該方案能實現(xiàn)無專家干預(yù)和機(jī)器人的泛化能力，可自動發(fā)現(xiàn)機(jī)器人運動學(xué)結(jié)構(gòu)，無需標(biāo)注執(zhí)行器與部件對應(yīng)關(guān)系。而且訓(xùn)練數(shù)據(jù)雖僅含隨機(jī)命令，卻能泛化到未訓(xùn)練的運動。

采用該方案進(jìn)行機(jī)器人控制，可顯著降低機(jī)器人自動化門檻和控制成本。其關(guān)鍵創(chuàng)新是將傳統(tǒng)機(jī)器人控制的建模問題轉(zhuǎn)化為基于視覺的自監(jiān)督學(xué)習(xí)問題，為生物啟發(fā)式機(jī)器人的實際部署開辟了新路徑。

更多熱點文章閱讀

點擊關(guān)注 星標(biāo)我們

將我們設(shè)為星標(biāo)，不錯過每一次更新！

喜歡就獎勵一個“在看”吧！

本文僅代表作者觀點，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com