查看引用/信息源請點擊：techxplore

允許VR和AR用戶通過語音指令操控虛擬手與數(shù)字空間交互

（中國AI網(wǎng) 2025年10月14日）美國密歇根大學的科學家研發(fā)了一款數(shù)字語音控制的虛擬手，從而實現(xiàn)了獨特的免手操作體驗。

研究人員開發(fā)的這款名為HandProxy的軟件，能允許VR和AR用戶通過語音指令操控虛擬手與數(shù)字空間交互。用戶可指令虛擬手抓取移動物體、拖拽縮放窗口，同時能完成點贊手勢等操作。借助ChatGPT背后的GPT-4o模型的解析能力，它甚至能執(zhí)行“清理桌面”這類復合指令，無需逐步指導。

相較于當前僅支持開啟菜單、滾動界面等基礎(chǔ)系統(tǒng)操作的VR語音功能，這款虛擬手能實時解析復雜任務(wù)，展現(xiàn)出更強適應(yīng)性。研究人員指出：“移動設(shè)備早已配備支持替代輸入模式和自動化界面控制的輔助技術(shù)，包括Siri這類AI任務(wù)助手。但這類功能在VR和AR的手部交互中幾乎空白。”

他們闡釋道：“HandProxy致力于允許用戶在控制器、手勢與語音等多種交互模式間自由切換。”

VR愛好者推崇其沉浸感——用戶渴望置身虛擬空間而非隔屏觀望。支持者認為這種技術(shù)既能提升游戲趣味性，又能實現(xiàn)無風險的外科醫(yī)生培訓。

營造物理真實感是打破認知壁壘的關(guān)鍵，所以業(yè)界普遍采用手勢追蹤攝像頭和觸覺手套。但對手部動作擬真度的過度追求，在特定場景中反而適得其反：狹小空間里的VR用戶難以施展復雜手勢，正在烹飪或清潔的AR用戶則需要解放雙手操作微型顯示屏。

對于存在運動障礙或其他殘疾的人群，純手勢操作更顯掣肘。肌肉萎縮癥和腦癱患者難以使用VR設(shè)備，重復性觸控動作甚至會讓慢性病患者對VR望而卻步。有Reddit用戶分享稱，因慢性疾病無法享受需要反復揮動的游戲，對VR適配性存疑。

現(xiàn)在，HandProxy有望令VR體驗更舒適平權(quán)。

團隊表示：“只要程序內(nèi)置物理引擎——大多數(shù)游戲和VR應(yīng)用都滿足這一條件，HandProxy就能實現(xiàn)交互。虛擬手提供與用戶雙手相同的數(shù)字信號，開發(fā)者無需為適配我們的系統(tǒng)專門修改代碼。”

部分體驗者已展現(xiàn)出濃厚興趣。研究中20名參與者先復現(xiàn)演示視頻任務(wù)，隨后進行10分鐘自由探索。有人為能“自然直觀對話”的虛擬替身興奮不已，而更令研究者驚訝的是，不少人期待虛擬手執(zhí)行不受物理世界束縛的抽象任務(wù)。

相關(guān)論文：HandProxy: Expanding the Affordances of Speech Interfaces in Immersive Environments with a Virtual Proxy Hand

https://dl.acm.org/doi/pdf/10.1145/3749484

當然，目前主要障礙在于指令誤讀：研究期間虛擬手共執(zhí)行781項任務(wù)，盡管多數(shù)在1-4次嘗試內(nèi)成功完成，但依然有64項失敗案例。例如系統(tǒng)未能將棕色物體與數(shù)字籃子關(guān)聯(lián)，同時無法理解點贊照片需按心形按鈕。研究團隊正著力提升模糊語義解析能力，同時避免過度自主解讀。有參與者提出建設(shè)性方案：讓虛擬手具備問答交互功能。