僅通過面部表情來精確控制計算機

（中國AI網 2025年04月08日）為了幫助殘障人員擁抱XR技術，蘇格蘭格拉斯哥大學和瑞士圣加侖大學正在研究如何僅通過面部表情來精確控制計算機。

利用支持面容識別的頭顯，相關實驗可靠地識別出七種簡單的面部動作，并將其用于支持用戶控制VR游戲和瀏覽網頁。

這種解決方案為殘疾人利用XR提供了全新的方式，并為所有人提供了一種免手操作的選擇。

在實驗中，被試需要將頭顯能夠識別的53種面容姿態，每個表情重復三次，每次保持三秒鐘。然后，對每個表情的舒適度、易用性以及自我感覺進行評分。

測試表明，突出面部不同區域的七個特定面容姿態在可靠識別和用戶舒適性之間提供了最佳平衡，包括張開嘴巴；瞇起左右眼；鼓起左右臉頰；以及將嘴角扯向兩邊。

格拉斯哥大學計算機科學學院的格雷厄姆·威爾遜（Graham Wilson）表示：“有人認為虛擬現實本質上是一種體力技術，因為它通常需要用戶通過控制器執行靈巧的手部動作，或者進行不是每個人都能舒適地完成的全身動作。這意味著，目前依然存在阻礙VR和AR體驗廣泛普及的障礙。通過這項研究，我們希望探索商用VR頭顯的功能是否可以適應不同的人群，以幫助用戶僅使用面部精確控制軟件。研究結果令人鼓舞，而這可能有助于挖掘出使用技術的新方法，不僅適用于殘疾人，同時適用于更廣泛的人群。”

為了測試所確定的七種面部動作的有效性，研究人員建立了自己的神經網絡模型，并以97%的準確率讀取頭顯識別出的表情。

然后，他們要求10名非殘疾被試使用頭顯執行兩項不同的任務。首先，被試在VR游戲環境中使用面部表情來轉向、選擇和射擊。然后在AR環境中，他們用面部表情來滾動、選擇和瀏覽網頁。在這兩種情況下，他們同時會使用傳統的手持VR控制器來比較體驗。

被試報告稱，盡管控制器為游戲提供了更精確的輸入，但使用面部表情的效果更好，因為無需過分努力即可提供有益的控制水平。他們同時發現通過面部表情瀏覽網頁十分簡單直觀，并表現出在未來使用面部輸入的高度意愿。

相關論文：InterFACE: Establishing a Facial Action Unit Input Vocabulary for Hands-Free Extended Reality Interactions, From VR Gaming to AR Web Browsing

團隊表示：“這為我們未來的研究奠定了基礎。我們計劃在進一步的研究中與運動障礙或肌肉障礙等殘疾人合作，為開發者和XR平臺提供新的建議，幫助他們擴大可訪問性選項，并幫助他們擺脫手部和基于控制器的輸入的限制。”