iPad眼動跟蹤 將來交互

毫無疑問，新款 iPad Pro 它仍然是閱讀、游戲、觀看視頻和繪畫的最佳平板電腦。但是隨著 M4 芯片，妙控鍵盤和 Apple Pencil Pro 的加入，iPad 一臺筆記本電腦比以往任何時候都更接近。

那么，是否 iPad 未來將逐步成為一款具有觸摸功能的產(chǎn)品。 MacBook？

答案可能是否定的。

在最新的 iOS 18 中國，蘋果使用這個項目「輔助功能」，一種關(guān)于我們的預(yù)言 iPad 互動的新未來。

眼動跟蹤：從 Vision Pro 到 iPad

近日，蘋果公司宣布其 iPadOS 18 新增加的操作系統(tǒng)「眼球追蹤」功能，這個看似不起眼的功能卻被放在了介紹頁面的第一位。

談到眼動追蹤，也許大家首先想到的還是蘋果之前發(fā)布的。 Vision Pro，這種設(shè)備最突出的特點之一就是用眼動跟蹤代替?zhèn)鹘y(tǒng)的搖桿。

使用者可以通過移動眼球來控制應(yīng)用程序，進(jìn)行菜單導(dǎo)航，甚至玩游戲，不需要依靠觸摸或外圍設(shè)備，大大提高了使用的便利性，展現(xiàn)了這一交互技術(shù)的魅力。

這個主要得益于 Vision Pro 多個紅外攝像頭分布在內(nèi) M2、R1 雙芯設(shè)計，使其能利用圖像處理技術(shù)提取與眼動相關(guān)的特性，并通過建立模型來實現(xiàn)眼動跟蹤。

Vision Pro 攝像頭分布，圖片來自蘋果

而且不久前發(fā)布的新款 iPad Pro 形態(tài)上的一個重要變化，就是把攝像機從窄邊移到長邊。

點陣投影儀、泛光感應(yīng)元件、前攝像頭和紅外攝像頭組合在攝像頭模組中。 M4 現(xiàn)在看來，芯片也許是在為后續(xù)計劃鋪平道路。

更新描述還顯示，蘋果的眼球跟蹤功能都是通過設(shè)備上的機器學(xué)習(xí)來實現(xiàn)的，這意味著它可以立即在所有操作中運行，而不需要任何額外的硬件。 iPadOS 18 在設(shè)備中使用，證實了這個判斷。

圖片來自嗶哩嗶哩博主：微機分 WekiHome

當(dāng)前業(yè)界公認(rèn)的眼動跟蹤方法，有兩種：基于外觀的眼動跟蹤方法和基于二維投影的眼動跟蹤方法。

前者主要從人臉圖像或眼睛圖像中提取特征，然后通過機器學(xué)習(xí)將這些特征與視線方向聯(lián)系起來。這種方法設(shè)備簡單，只需要攝像頭就可以完成，但是需要大量的訓(xùn)練數(shù)據(jù)來建立精確的模型，然后正確的解讀你的視線方向。

另外一種基于兩位投射的眼動跟蹤方法，主要是通過分析眼球與角膜反射的位置關(guān)系變化來決定眼球運動。

由于角膜反射光點的位置在眼球運動時不會發(fā)生變化，因此可作為眼瞳運動的參考點，根據(jù)兩者位置關(guān)系的變化，計算實現(xiàn)方向。

校正時需要盯著屏幕上的特定點，系統(tǒng)會記錄這些點和你的眼睛數(shù)據(jù)，建立投影模型。將來，當(dāng)你看其他地方時，系統(tǒng)可以通過這個模型準(zhǔn)確地知道你在看哪里。

眼睛-角膜反射向量法示意圖，圖片來自網(wǎng)絡(luò)

現(xiàn)在看來，眼動跟蹤的原理并不是很復(fù)雜，現(xiàn)有的硬件條件足以滿足需求。事實上，蘋果實際上經(jīng)歷了一個漫長的過程來實現(xiàn)這個功能。

多年來布局的最后一步

很久以前，蘋果就開始布局眼動跟蹤、網(wǎng)絡(luò)相關(guān)人才和技術(shù)。

2013 2000年，蘋果從以色列收購。 PrimeSense，這家公司曾經(jīng)為微軟提供 Xbox 的 Kinect 支持動作控制技術(shù)。

PrimeSense 創(chuàng)始人合影

該公司曾經(jīng)推出了一款非常小巧的設(shè)備，可以嵌入手機、平板電腦等設(shè)備。 3D 攝像頭——Capri。這是 PimeSense 在 2013 年 Google I/O 會議展示的內(nèi)容：

Capri 在谷歌安裝 Nexus 平板電腦上

Capri 進(jìn)行真實的場景 3D 對場景中的物體進(jìn)行建模，并獲得具體的數(shù)據(jù)，如長度、寬度和高度。

通過 AR 技術(shù)模擬真實空間中椅子的沖擊信息

將 3D 圖像傳輸?shù)?3D 打印機完成 3D 打印

當(dāng)時也有一起推出的，聲稱在當(dāng)時。「全球最小」的 3D 由于性能好，體積小，感知芯片可以部署到手機、電視等眾多電子產(chǎn)品上。

2017 2008年，蘋果收購了一家來自德國的老牌眼球跟蹤技術(shù)企業(yè) SensoMotoric Instruments，曾經(jīng)是世界上最大的眼動設(shè)備制造商。

憑著「鈔能力」一系列關(guān)于眼動跟蹤的硬件和軟件，蘋果在同年首次將眼動跟蹤功能應(yīng)用于其 Face ID 為了提高解鎖的安全性，中。

在那之后的幾年里，蘋果不斷流出與眼動跟蹤相關(guān)的專利申請，蘋果也在不斷探索，這不僅促成了 Vision Pro 以眼動跟蹤為基礎(chǔ)的交互技術(shù)，也催生了其它蘋果設(shè)備上對眼動跟蹤的無限可能。

關(guān)于眼動跟蹤和早期「注意力檢驗」專利內(nèi)容

眼動追蹤的未來暢想

與傳統(tǒng)的交互技術(shù)(鼠標(biāo)、鍵盤、觸摸等)相比，眼動跟蹤具有以下優(yōu)點：

自然直觀:眼動跟蹤利用人眼的自然運動進(jìn)行交互，無需額外的操作設(shè)備。用戶只需要盯著目標(biāo)就可以完成相應(yīng)的操作，降低了學(xué)習(xí)成本，使得交互更加直觀。

提高效率:眼肌是身體反應(yīng)最快的肌肉之一。通過眼動跟蹤，客戶可以更快地選擇和控制界面元素，減少手部動作，提高操作速度和效率。

結(jié)合其它輸入方式：眼動跟蹤可以結(jié)合語音控制和手勢操作等其它輸入方式，提供更豐富、更靈活的交互技術(shù)。

多任務(wù)處理:用戶在執(zhí)行其他任務(wù)(如駕駛或行走)或同時處理多個任務(wù)后，只能使用眼動跟蹤控制，不需要額外的動作，從而提高操作效率。

數(shù)據(jù)分析和個性化:眼動跟蹤可以為客戶的注意力和興趣提供寶貴的數(shù)據(jù)。這些信息可以用來提高界面設(shè)計、廣告營銷和客戶體驗的個性化，使系統(tǒng)更加智能和友好。

增強現(xiàn)實（AR）：在 AR 在環(huán)境中，眼動跟蹤可以提供更加沉浸式和自然的交互體驗。使用者可以通過凝視來選擇和使用虛擬對象，從而提高使用體驗。

同樣得益于這些優(yōu)點，在很多具體場景中也顯示出巨大的潛力。

例如，在許多游戲中，除了帶來更方便的操作外，眼動跟蹤還能給玩家?guī)砀玫某两?，讓玩家只需通過實現(xiàn)就可以控制游戲中的角色進(jìn)行互動。

使用眼動跟蹤控制游戲，圖片來自網(wǎng)絡(luò)

此外，在實現(xiàn)眼動跟蹤功能后，開發(fā)者還可以根據(jù)眼動數(shù)據(jù)調(diào)整場景照明、角度變化等諸多參數(shù)，適應(yīng)客戶的個人視覺習(xí)慣，使游戲畫面更加真實。

游戲中的社交活動也可以通過虛擬形象實現(xiàn)各種動作狀態(tài)，如方向、眨眼、瞇眼等。，可以隨玩家的面部瞬間變化，豐富人物的情感表達(dá)，從各個方面提高游戲的沉浸力。

除游戲外，這種技術(shù)給日常生活帶來的變化也許更值得期待。

Vision Pro 發(fā)布后，教育、醫(yī)療等場景是一個重要的應(yīng)用領(lǐng)域，這無疑實現(xiàn)了眼動跟蹤。 iPad 同樣適用于上面。

比如飛行員模擬、手術(shù)模擬等職業(yè)訓(xùn)練領(lǐng)域，通過跟蹤學(xué)員的眼球運動來評估決策速度和準(zhǔn)確性。

眼動跟蹤可以為教師提供關(guān)于學(xué)生學(xué)習(xí)過程中注意力集中點和理解度的實時反饋，有利于指定和優(yōu)化個性化教學(xué)策略的教學(xué)內(nèi)容。

眼動跟蹤設(shè)備安裝在航行駕駛模擬教學(xué)設(shè)備上。

還有一些特別適合眼動跟蹤的交互技術(shù)，比如家居環(huán)境就是其中之一。通過眼動跟蹤， iPad 成為智能家居中控臺，實現(xiàn)對家居的控制；或在手上有其他東西，手上有油漬的情況下，提供另一種控制方式等等。

雖然眼動跟蹤的應(yīng)用潛力很大，但也有一些業(yè)內(nèi)人士對該技術(shù)的安全性提出了質(zhì)疑。

數(shù)據(jù)表明，一個人的眼睛數(shù)據(jù)會隱含各種各樣的信息，如年齡、性別、種族、情緒狀態(tài)、性格特征等。

技術(shù)、法律、政策研究所加州大學(xué)洛杉磯分校創(chuàng)始人及教職聯(lián)席主任 John Villasenor 表示：

眼動跟蹤技術(shù)一旦成熟，就會收集到更多的信息：我們在網(wǎng)上閱讀的內(nèi)容，甚至我們的閱讀過程。舉例來說，我們有沒有看到網(wǎng)頁廣告，想了一會兒，最后沒有點擊？當(dāng)我們閱讀整個網(wǎng)頁時，眼球是如何移動的？哪些單詞、單詞、主題是我們更喜歡或繞過的？將來，展示在我們面前的廣告，是否不僅取決于我們買了什么，還取決于我們眼球的運動狀態(tài)？

加州大學(xué)洛杉磯分校電氣工程教授 John Villasenor

顯然，如果我們能夠理解用戶注意力的持續(xù)時間和焦點偏好，并結(jié)合瞳孔大小、眼睛跳動等多個維度的數(shù)據(jù)，我們希望更準(zhǔn)確「猜你喜歡」毫無疑問，隱私保護(hù)的難度將會更加精確，直線升級。

對此，蘋果的回答是在設(shè)備中使用所有的捕捉和解讀，蘋果看不到攝像頭捕捉到的任何內(nèi)容，無需使用其他外部硬件，如眼鏡等專門用于捕捉眼動數(shù)據(jù)的設(shè)施。

然而，在當(dāng)前用戶隱私安全越來越受到重視，信息泄露總是時有發(fā)生的大環(huán)境下，客戶的擔(dān)憂可能仍然難以解決，也可能成為難以實施眼動跟蹤功能的重要因素。

專門用來捕獲眼動數(shù)據(jù)的 Tobii Pro Glasses 圖片來自Tobiiiii2

此外，還有一個更大的問題，那就是如何保證眼動跟蹤在不同的環(huán)境中穩(wěn)定準(zhǔn)確地運行，適應(yīng)佩戴眼鏡、眼睛特征獨特的人群等。

而且因為人的視線一般都是快速移動的，運動也常常是不規(guī)則的，或者是跳躍的，這也是一個必須解決的難題。

為了解決這個問題，蘋果可能會使用。 AI 來解決。

一個人曾經(jīng)負(fù)責(zé)開發(fā) Vision Pro 蘋果前員工 Sterling Crispin 據(jù)透露，蘋果利用大量的神經(jīng)科學(xué)來開發(fā)它的一些關(guān)鍵功能，例如， AI 對用戶的操作行為進(jìn)行預(yù)測：

AI 模型會試圖預(yù)測你是否感到好奇、分心、害怕、集中注意力、回憶過去的經(jīng)歷或其他認(rèn)知狀態(tài)。這些可以通過眼睛跟蹤...測量來推斷。

他還說，這主要是因為：

你的眼睛會在點擊前做出反應(yīng)，部分原因是你估計點擊后會有事情發(fā)生。因此，UI可以通過測試用戶的眼睛行為并實時互動。 為了創(chuàng)建更多這一預(yù)期的眼瞳反應(yīng)，創(chuàng)建用戶大腦的生物反饋。

同時，他也興奮地說，這種加入 AI 眼動跟蹤反饋的算法和實時反饋，正在使之成為一種「腦機接口粗糙」，非?？?。

對 iPad 擴(kuò)展功能，重塑地位？

當(dāng)然，眼動跟蹤變成了眼動跟蹤「腦機接口」描述可能有點夸張，但無法掩蓋的是其擴(kuò)展交互技術(shù)的潛力。

iPad 誕生之初曾被寄予厚望，但至今仍被許多人視為「買后愛奇藝」造成這種情況的根本原因在于缺乏互動。

事實上，蘋果在這方面做了很多努力，例如 Apple Pencil、加入妙控鍵盤，在一定程度上可以看作是蘋果在豐富平板交互技術(shù)方面的嘗試。

但這些努力似乎并沒有從根本上改變。 iPad 畢竟，如果你想用鍵盤，為什么不直接選擇呢？ MacBook？而 Apple Pencil 盡管發(fā)掘出 iPad 形態(tài)在專業(yè)領(lǐng)域的潛力，但由于行業(yè)領(lǐng)域狹小，無法拯救。 iPad 的關(guān)鍵。

此外，從「輔助功能」尋找新的互動，也一直是蘋果發(fā)掘商品潛力、提供新突破的重要途徑。

比如 Apple Watch Series 9 雙擊功能可以感應(yīng)手指動作，無需觸摸即可控制手表。推出后受到很多用戶的好評，但也隱藏了很久?！篙o助觸摸」的角落。

類似于眼動跟蹤的互動，實際上隱藏在蘋果里。「輔助功能」例如，現(xiàn)在有許多目錄， Mac 電腦的「輔助功能」中間，已經(jīng)出現(xiàn)了「頭控指針」，使用者可通過移動頭部來調(diào)整指針的移動。

隨著 iOS 18 更新，眼動跟蹤也同樣很有可能也會從「輔助觸摸」走向舞臺中央的角落，在一段時間后成為你每天使用的一個重要功能，打開它 iPad 互動新時代。

或許，不只是用手指來控制， iPad 的未來。

本文來自微信公眾號“愛范兒”（ID：ifanr），作者：王萌，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com