整合觸覺技術可用于支持以前單純依賴于攝像頭的遠程操作任務，從而為未來更復雜的應用鋪平道路

（中國AI網 2025年05月06日）基于VR頭顯的機器人遠程操作正廣泛地應用于一系列領域。在一項研究中，倫敦瑪麗女王大學，Humanoid AI和倫敦國王學院團隊利用VR頭顯和基于觸覺的3D對象重建來向蒙眼用戶提供觸覺反饋，并證明了即便沒有攝像頭都能精確執行拾取和放置等遠程操作。

初步結果表明，整合觸覺技術可用于支持以前單純依賴于攝像頭的遠程操作任務，從而為未來更復雜的應用鋪平道路。

基于VR的機器人遠程操作允許人類操作員遠程控制機器人系統，并完成危險的或復雜的任務。另外，當前的機器人自主操作方面存在不足，而通過示范學習將人類技能轉移到機器人是有用的。對于這一點，業界已經把目光投向VR虛擬現實。

大多數遠程操作操作依賴于基于視覺的系統，通過攝像頭視圖來支持不同復雜程度的操作。然而，這樣的系統并非萬無一失，惡劣的視覺條件，如光線不足、陰影、霧霾、煙霧、輻射，甚至是骯臟或損壞的透鏡都限制了它們的可靠性。

觸覺傳感可以解決一定的問題，因為它可以提供僅憑視覺無法輕易估計的屬性測量，例如，操縱物體表面的重量或紋理信息。同時，它們可以用來重建對象的3D形狀，然后可以使用VR或AR技術進行顯示。

觸覺傳感可用于向人類操作員提供觸覺和力反饋，從而獲得能夠提供沉浸式觸覺體驗的雙邊遙控機器人系統。

為了解決目前的研究差距和完全“失明”遠程操作帶來的重大需求，倫敦瑪麗女王大學，Humanoid AI和倫敦國王學院團隊將視覺虛擬現實集成到我遠程機器人裝置中。

采用的雙側遙操作系統完全依靠機械手的觸覺感應，省去了視覺傳感器。系統為人類用戶提供關鍵的觸覺反饋，并促進準確的對象操作。另外，團隊開發了一個極簡的虛擬環境，在3D物體重建和操作任務中實時可視化機械臂。

系統僅利用觸覺傳感器和高斯過程（GP），將被操縱對象形狀的實時部分3D重建流傳輸到VR頭顯，同時渲染被操縱對象的觸覺體驗，從而增強沉浸感并減少疲勞。這一目標旨在減輕與盲遙操作相關的挑戰。

實驗證明，具有視覺監督遠程操作經驗的人類操作員可以在觸覺反饋和VR視覺表現的支持下準確地執行盲取和盲放等任務。

研究人員進行了90次試驗，每天兩次，間隔一個月，以評估長期學習趨勢，而他們主要觀察到失敗嘗試的減少，并減輕了操作員因認知和環境條件而產生的偏見。實驗涉及到三種不同形狀的矩形物體。

總的來說，方法達到了80%的成功率，在90次試驗中有18次失敗。另外，第一次每日會話的執行成功率為71.11%，第二次每日會話的執行成功率為88.89%，兩者之間的執行性能有所提高。在同一實驗日內，定位和定向誤差沒有明確的學習曲線跡象。

另外，疲勞對工作表現和完成任務的確切影響難以確定，而嘗試失敗次數的顯著減少表明操作對象的改進趨勢。

同時，研究人員觀察到的方向精度顯著提高，平均誤差從9.63?降至5.39?。這種改進可以歸因于用戶對對象-任務關系的更深入理解。

值得一提的是，拾取放置任務的完成時間在不同的測試場景和物體配置中變化最小，所有成功試驗的完成時間都在15秒到20秒之間。總之，實驗結果表明，對象的幾何特征顯著影響拾取放置實驗的成功率。大體而言，所有對象的平均位置誤差和方向誤差分別小于3 cm和6°。

相關論文：Leveraging Tactile Sensing to Render both Haptic Feedback and Virtual Reality 3D Object Reconstruction in Robotic Telemanipulation

總的來說，團隊認為僅使用觸覺反饋而無需視覺輸入來遠程操作機器人的能力對解決基于視覺解決方案容易失敗的場景至關重要，例如低光或低能見度條件。

在研究中，研究人員證明了集成不同的遠程操作技術可以在不依賴攝像頭的情況下執行簡單的拾取和放置任務。具體來說，他們開發了一個遠程機器人裝置，包括一個VR頭顯以確保在無監督操作期間的安全，一個VR環境，以及一個基于局部觸覺信息重建對象的模型。

在未來的工作中，團隊計劃開發一個更加身臨其境的VR環境，以提高三維和深度感知，從而更有效地重建復雜的運動物體。