這個深度學習代理可以將VR控制器輸入轉換為真實的握力動態

中國AI網 2025年06月24日)逼真的手部操作是沉浸式虛擬現實的關鍵組成,但現有的方法通常依賴于運動學方法或動捕數據集,忽略了關鍵的物理屬性,如接觸力和手指扭矩。在一項研究中,韓國慶熙大學和高麗大學團隊提出了ForceGrip。這個深度學習代理綜合了真實的手部操作動作,并忠實地反映了用戶的握力意圖。

ForceGrip不是模仿預定義的運動數據集,而是使用生成的訓練場景來挑戰具有廣泛物理交互的智能體。為了有效地從復雜的任務中學習,研究人員采用了一個由手指定位、意圖適應和動態穩定組成的三階段學習框架。這種漸進式策略確保了穩定的手物接觸,基于用戶輸入的自適應力控制,以及動態條件下的魯棒處理。另外,接近獎勵功能可以增強自然手指運動和加速訓練收斂。

定量和定性評估表明,與最先進的方法相比,ForceGrip具有優越的力量可控性和合理性。

韓國研究團隊開發ForceGrip系統實現VR手部操作的動態握力控制  第1張

沉浸式手部交互對于引人入勝的虛擬現實體驗至關重要,可支持用戶自然地掌握和操縱物體。盡管基于控制器的界面(不依賴手部追蹤)由于其可訪問性、可用性和響應性而變得普遍,但大多數現有解決方案都忽略了對握力的細微控制。相反,他們強調視覺可信的手部動作,并依賴于簡單的二進制觸發輸入。

這種差距破壞了逼真交互的一個關鍵維度:在物理環境中,用戶不斷調整他們的握力,以適應物體重量、脆弱性和摩擦的差異,允許物體在不同的力水平下滑動,或者在需要時保持牢固。將所述細微差別轉化為VR村咋相當大的挑戰,因為傳統的數據集和動捕技術很少包含詳細的物理屬性,如接觸力或手指扭矩。

因此,提供涉及各種物理需求的不同場景并確保復雜場景能夠有效學習至關重要。為了解決這一差距,韓國慶熙大學和高麗大學團隊引入了ForceGrip。這個深度學習代理可以將VR控制器輸入轉換為真實的握力動態。ForceGrip不是模仿靜態動捕,而是從隨機生成的場景中學習。所提出的學習框架通過三個階段系統地增加復雜性:手指定位,意圖適應和動態穩定。他們進一步結合了基于接近度的獎勵來引導自然的指尖接觸,從而加速訓練和培養自然的手指運動,而不模仿參考運動數據。

圖1描述了訓練管道。團隊使用Unity和NVIDIA PhysX進行實時物理,以120hz的頻率更新,而學習代理以30hz的頻率運行。每個時間步??,智能體輸出手指關節的扭矩,比例導數(PD)控制器將其轉換為手部姿勢,并在??+1時刻驅動對象交互。在訓練期間,手腕遵循預設的運動路徑,而在實際使用中,它遵循VR控制器的運動。

韓國研究團隊開發ForceGrip系統實現VR手部操作的動態握力控制  第2張

團隊不再依賴動捕數據,而是生成包含不同物體形狀、用戶輸入和手腕動作的不同場景。然而,這種可變性增加了學習的復雜性。為了解決這個問題,團隊將訓練劃分為更簡單的任務,然后逐步增加動態條件。

為了訓練代理,利用強化學習,并使用近端策略優化(PPO)。團隊采用早期終止,如果物體移動距離手腕超過10厘米,就停止一個事件,避免在不可恢復狀態浪費計算。這一機制提高了效率,防止了虛假獎勵,最終帶來了更穩定的政策。

為了學習各種握持條件,使用三種原始物體形狀:球體、立方體和圓柱體,每一種物體的質量都是0.01 kg。由于投擲物體會導致提前終止,即使這個力與目標力不匹配,受過訓練的智能體都傾向于施加過大的力來避免掉落。為了防止這種不匹配,通過使用輕量級對象來減輕質量的影響。

為了研究訓練進展,團隊測量了每個過程和消融設置的每個時期的獎勵。不從P1 (C4, C5和C6)開始的過程表現出明顯較低的回報。這個結果強調在引入額外的復雜性之前學習穩定的手指接觸。另外,團隊提出提出的方法(C1)獲得了最高的總體回報。

為了進行更深入的分析,團隊收集了數據,并測量了三個關鍵指標。盡管C4、C5和C6保持相對可接受的ESR和PR評分,但其較低的FR評分表明,當早期引入高級隨機化時,在管理力控制方面存在困難。相比之下,C2和C3產生中等的ESR,但總體穩定性低于C1。去除鄰近獎勵(PR ×)會顯著降低性能,特別是在ESR和PR方面,但同時會影響FR。盡管去除編碼器層(EL ×)可以獲得更高的ESR和PR,但同時降低了FR評分。這一結果表明,網絡缺乏基于編碼器的特征提取,難以納入關鍵的低維輸入(例如??∈r6),導致智能體采用過于有力的握力,而不是提高握力精度。

總體而言,結果證實,團隊提高了成功率和把握真實感。燒蝕研究強調了設計選擇的影響,如接近獎勵和編碼器層對精確的握力控制。

相關論文:ForceGrip: Reference-Free Curriculum Learning for Realistic Grip Force Control in VR Hand Manipulation
https://arxiv.org/pdf/2503.08061

總的來說,ForceGrip這種新穎方法通過忠實的握力控制在VR控制器界面中提供了逼真的手部操作。與之前許多依賴參考數據集的系統不同,ForceGrip利用了自動生成的訓練場景。學習框架進一步解決了復雜的、動態的交互所帶來的挑戰,在不同的虛擬操作任務中實現了強大的收斂和最先進的性能。