提供觸覺反饋機器人遠程操作

（中國AI網 2025年05月15日）在機器人遠程操作中，多模態感官反饋起著至關重要的作用，可為操作者提供更加身臨其境的操作體驗，減輕認知負擔，并提高操作效率。

在一項研究中，深圳技術大學，浙江大學和澳大利亞迪肯大學團隊開發了一種基于VR頭顯和力反饋手套的沉浸式雙側同構雙手遙控機器人系統，通過觸覺反饋來補充視覺體驗。

為了評估系統的性能，研究人員進行了一系列的實驗，并調查了用戶的遠程操作體驗。結果表明，觸覺力反饋增強了肢體感知能力和復雜任務操作能力。另外，它彌補了視覺感知的缺陷，減輕了操作員的工作負擔，實現了更加直觀和身臨其境的遙操作，提高了操作效率，并擴大了機器人遙操任務的復雜性。

機器人可以在一系列的場景中代替人類執行任務，如搜救、水下作業、老年人護理?；谶b控機器人的遠程操作可以將人類的智慧和專業知識與機器人相結合。通過遠程操作利用人類的專業知識和技能來控制機器人，可以將人類的操作能力轉移到遠程機器人，從而可以執行更復雜和精確的任務。

要做到這一點，操作員需要足夠的感官反饋來感知、理解和推理遠程機器人的環境。目前，一種常見的方法是利用VR頭顯和立體攝像頭來為操作員提供來自遠端的立體視覺反饋，并以3D立體方式呈現空間信息。

然而，這在一系列的應用場景中并不足夠，并且僅僅依賴視覺反饋將導致遠程操作的局限性，并降低人機交互體驗。

觸覺作為感知屬性和運動的五種感官之一，在人類與周圍世界的交互中起著至關重要的作用。視覺可以幫助操作者獲得物體的外部特征，如大小、形狀、姿態和表面光滑度，而物體的內部屬性（如重量、柔軟度、易碎性）則只能通過觸覺來感知。

通過結合觸覺方式，操作員可以更好地感知周圍環境并與之交互，體驗遠程機器人在物理層面反饋的實時感覺。在特定場景中，有限的照明、遮擋或焦點會使獲取環境中的幾何屬性和位置變得具有挑戰性。這時候，觸覺可以很好地彌補這種視覺形態的缺陷。

在另一種情況下，觸覺和視覺方式可以共同發揮作用，例如通過視覺判斷柔性物體的幾何形狀，通過觸覺判斷其變形程度，從而確定合理的抓取位置，從而實現高質量的抓取。

在機器人的雙手控制中，將機器人的觸覺力反饋以同構的方式映射到操作者的皮膚，可以進一步增強沉浸感和交互性。通過設計結合可穿戴觸覺的直觀人機界面，我們可以實現更加身臨其境的交互式遠程操作體驗，使操作員能夠更加感受到與遠程機器人及其環境的聯系

如圖所示，團隊提出的遠程操作框架集成了一個具有雙邊觸覺反饋的人機界面，一個用于遠程場景3D渲染的視覺界面，以及一個用于遠程操作機械臂和靈巧手的控制模塊。在系統中，位于遠端的手動機器人由二自由度機械臂和2個六自由度五指靈巧手組成，每個指尖都有觸覺傳感器。ZED mini2攝像頭安裝在機器人頭，提供遠程環境的3D視覺信息。

在操作員方面，使用VR頭顯和用于追蹤操作員手腕姿勢的追蹤器。頭顯為操作員提供立體圖像，以3D形式呈現遠程場景。操作者佩戴Dexmo外骨骼手套5，每個手指都有一個力反饋電機，最大扭矩為0.5 N·m，作用是提供觸覺反饋。

為了評估系統的性能，團隊設計了一系列的實驗。在實驗A中，選擇了幾個不同硬度的物體，并執行了兩個動態操作任務，以展示觸覺界面傳遞力反饋和感知物體內部屬性的能力。在實驗B中，執行了一個盲抓任務，以證明觸覺反饋能夠彌補視覺反饋在遮擋下的局限性。

在實驗C中，設計了對比實驗來評估不同反饋的遠操作任務的性能：單一視覺反饋和視覺加觸覺反饋。相關實驗旨在證明觸覺反饋的引入對遠操作性能的改善。在實驗D中，進行被試研究，探討多模態感覺反饋對遠操作效率和沉浸感的影響。

10名被試被要求在兩種條件下執行任務：視覺反饋和視覺加觸覺反饋，直到他們成功完成任務10次。團隊計算了在每種條件下每項操作10人的平均完成時間。通過對被試完成時間的統計分析可以看出，視覺加觸覺反饋的條件完成時間更短，被試能夠更快地適應設備，減少任務執行時間，提高操作效率。

隨后，操作員需要完成一項主觀調查。問題1：哪種感官反饋方法能給你更強的沉浸感？問題2：在操作過程中，觸覺反饋是否對你有所幫助，并減輕你的認知負擔？

分析1：90%的被試認為視覺加觸覺反饋方法在操作過程中提供了更強的沉浸感和更好的臨場感效果。VR頭顯的立體渲染給了操作員強烈的臨場感，同構的操作方式使操作員可以通過映射直接控制動作。這為操作員提供了直觀的身臨其境的體驗，在遠程場景中創造了逼真的遠程呈現感。然而，根據參與者的反饋，當操作員對物體進行抓取動作時，缺乏觸覺反饋信息會使操作員感到與沉浸式體驗脫節。視覺加觸覺反饋方法彌補了這一弱點。另外，參與者報告說，視覺加觸覺反饋方法提供的更強的沉浸感使他們能夠更好地集中精力完成任務。

分析2：70%的操作員報告說，觸覺反饋使易碎水果的運輸過程更容易。100%的操作人員反映，觸覺反饋極大地幫助他們抓住水果而不損壞它，特別是在重復操作之后。與單一的視覺反饋相比，觸覺反饋的引入減輕了操作者通過視覺反饋推斷抓取力和抓取質量的認知負擔。觸覺反饋有助于操作者更快地做出決策，提高遙操作效率。

相關論文：An Immersive Virtual Reality Bimanual Telerobotic System With Haptic Feedback

總的來說，研究人員將觸覺反饋引入到雙手遙操作系統中，構建了一個雙向觸覺反饋人機交互界面，擴展了遙操作的感覺反饋方式。這個界面允許操作者能夠感知物體的物理特性，彌補了視覺信息的局限性。

在提高操作效率、擴大雙手機器人可執行復雜任務范圍的同時，界面同時實現了更加直觀、逼真、身臨其境的操作，減輕了操作者的認知負擔。

這個遙控機器人系統只提供了VR視覺反饋和觸覺反饋信息。在未來，團隊希望提供更多樣化的反饋信息，包括來自遠程站點的溫度、紋理和皮膚拉伸反饋。通過增加反饋信息，研究人員希望進一步提高機器人的遙操性能，使操作者更加直觀、逼真、身臨其境地執行任務。