能隔空寫字，還能意念操控。

智東西7月25日消息，7月23日，Meta現(xiàn)實(shí)實(shí)驗(yàn)室（Reality Labs）在《自然》（Nature）雜志上發(fā)表了最新論文《用于人機(jī)交互的通用非侵入式神經(jīng)運(yùn)動接口》（A generic non-invasive neuromotor interface for human-computer interaction）。

這項(xiàng)創(chuàng)新推出了基于表面肌電圖（sEMG）的通用型非侵入性神經(jīng)運(yùn)動接口。該接口以腕帶形式呈現(xiàn)，不用進(jìn)行侵入性手術(shù)，就能精準(zhǔn)捕捉手腕部位的神經(jīng)信號，識別點(diǎn)擊、滑動和捏合等多種手勢意圖，甚至在手部自然下垂時也能隱蔽操作。

和傳統(tǒng)的鍵盤、鼠標(biāo)、觸摸屏等輸入設(shè)備不同，它擺脫了對中間設(shè)備的依賴。而且，和基于攝像頭或慣性傳感器的手勢系統(tǒng)相比，它不受動作遮擋的影響。與侵入性腦機(jī)接口相比，它也無需定制解碼器，能在不同人群中通用。

基于300多名受試者提供的超過100小時肌電數(shù)據(jù)，研究團(tuán)隊開發(fā)出高度適應(yīng)性的機(jī)器學(xué)習(xí)模型。該模型的顯著特點(diǎn)是無需個人校準(zhǔn)就能實(shí)現(xiàn)高精度手勢識別，只需少量個性化數(shù)據(jù)就能將筆跡識別準(zhǔn)確率提升16%。

Meta在2023年通過Orion AR眼鏡原型完成了該成果的早期技術(shù)驗(yàn)證。

高靈敏度腕帶+通用解碼模型

為實(shí)現(xiàn)這一突破，研究團(tuán)隊從硬件和模型兩方面入手。

硬件方面：團(tuán)隊研發(fā)了高靈敏度、易佩戴的sEMG腕帶（sEMG - RD）。

該腕帶采用干電極、多通道記錄設(shè)計，采樣率達(dá)2kHz，噪音低至2.46μVrms，續(xù)航超4小時，有四種尺寸適應(yīng)不同腕圍。其電極布局經(jīng)過優(yōu)化，能精準(zhǔn)捕捉手腕、手部和前臂肌肉的電信號，甚至能檢測到單個運(yùn)動單位動作電位（MUAPs）。

研發(fā)時，團(tuán)隊多次進(jìn)行材料測試與結(jié)構(gòu)優(yōu)化，才確定最終腕帶設(shè)計，確保佩戴舒適性與信號采集穩(wěn)定性的平衡。

數(shù)據(jù)收集與模型訓(xùn)練方面：團(tuán)隊構(gòu)建了可擴(kuò)展的數(shù)據(jù)收集基礎(chǔ)設(shè)施，從數(shù)千參與者獲取訓(xùn)練數(shù)據(jù)。

基于這些數(shù)據(jù)，團(tuán)隊開發(fā)出通用的sEMG解碼模型。模型采用多種深度學(xué)習(xí)架構(gòu)，如用于手腕任務(wù)的長短期記憶（LSTM）層、用于離散手勢任務(wù)的1D卷積層加LSTM層，以及用于手寫任務(wù)的Conformer架構(gòu)等，以適應(yīng)不同交互場景需求。

模型訓(xùn)練階段，研究人員運(yùn)用遷移學(xué)習(xí)等先進(jìn)技術(shù)，加速模型收斂，通過不斷調(diào)整超參數(shù)，提升模型的泛化能力與準(zhǔn)確性。

0.88次/秒手勢識別，手寫輸入達(dá)20.9字/分鐘

在連續(xù)導(dǎo)航任務(wù)中，sEMG的閉環(huán)手勢解碼中位數(shù)性能為0.66次/秒，即用戶連續(xù)做手勢操作控制光標(biāo)等對象在屏幕上導(dǎo)航時，平均每秒能精準(zhǔn)獲取目標(biāo)0.66次，大大提高操作效率。

在離散手勢任務(wù)中，其手勢檢測速率達(dá)0.88次/秒，即用戶做出握拳、伸指等離散特定手勢時，系統(tǒng)能以每秒0.88次的速度快速識別并響應(yīng)。

戴sEMG腕帶的測試者，手寫輸入速度可達(dá)20.9字/分鐘，通過個性化調(diào)整sEMG解碼模型，手寫模型的解碼性能可進(jìn)一步提升16%。

值得一提的是，這些模型無需針對個人訓(xùn)練或校準(zhǔn)，就能在不同人群中表現(xiàn)良好。離線評估中，對未參與訓(xùn)練的參與者，手寫和手勢檢測的分類準(zhǔn)確率超過90%，手腕角度速度解碼誤差小于13°s?1。

研究團(tuán)隊在不同年齡、性別、身體狀況的志愿者群體中廣泛測試，都得到了上述穩(wěn)定且優(yōu)異的結(jié)果，驗(yàn)證了該神經(jīng)運(yùn)動接口的通用性與可靠性。

未來應(yīng)用：潛力廣泛，前景可觀

這一技術(shù)在多個領(lǐng)域有廣闊應(yīng)用前景。

日常交互：可用于智能手機(jī)、智能手表、智能眼鏡等移動設(shè)備，實(shí)現(xiàn)無縫輸入，適合移動場景，解決傳統(tǒng)輸入方式的局限。

例如，用戶行走、乘車時，不用依賴屏幕觸摸或鍵盤輸入，通過簡單手部肌肉活動就能完成文字輸入、指令下達(dá)等操作，讓信息交互更便捷高效。

輔助技術(shù)：為行動不便者提供新交互方式，如因肌肉無力或肢體缺失難以使用傳統(tǒng)設(shè)備的人群，通過細(xì)微肌肉活動就能和計算機(jī)交互。

肢體殘疾人士可借助該接口，用自身獨(dú)特肌肉運(yùn)動模式控制輪椅、假肢等輔助設(shè)備，提高生活自主性。

醫(yī)療康復(fù)：可用于臨床診斷和康復(fù)治療，如監(jiān)測患者肌肉活動情況，輔助制定個性化康復(fù)方案，或作為閉環(huán)神經(jīng)康復(fù)范式的一部分。

醫(yī)生通過分析患者使用該接口時的肌肉電信號數(shù)據(jù)，能更精準(zhǔn)了解患者肌肉恢復(fù)狀態(tài)，及時調(diào)整康復(fù)訓(xùn)練計劃，提高康復(fù)效果。

新型控制方式探索：有望實(shí)現(xiàn)對意圖手勢力量的直接檢測，開發(fā)多自由度聯(lián)合控制和低做功控制方式，甚至催生基于神經(jīng)運(yùn)動信號空間的全新交互形式。

例如，工業(yè)控制領(lǐng)域，工人佩戴該接口，能用更自然的方式遠(yuǎn)程操控復(fù)雜設(shè)備，減少操作失誤，提高生產(chǎn)效率。

此外，該技術(shù)為腦機(jī)接口等相關(guān)領(lǐng)域提供借鑒，其大規(guī)模數(shù)據(jù)收集和模型訓(xùn)練方法可能為解決其他接口的校準(zhǔn)問題提供方向。

結(jié)語：下一代人機(jī)交互范式或?qū)⒈恢匦露x

Meta在2023年通過Orion AR眼鏡原型完成技術(shù)前期驗(yàn)證，2025年核心研究成果被頂級學(xué)術(shù)期刊《自然》收錄發(fā)表。

這項(xiàng)技術(shù)有望從專業(yè)AR設(shè)備拓展為通用電子設(shè)備的交互標(biāo)準(zhǔn)，最終實(shí)現(xiàn)“讓計算機(jī)理解人類手勢”的技術(shù)愿景。

這種以人為中心的交互理念，可能重新定義下一代人機(jī)交互范式。

本文來自微信公眾號 “智東西”（ID：zhidxcom），作者：王 涵，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com