將彈性體轉換為豐富而細致的交互式控制器

（中國AI網 2025年05月29日）在一項研究中，索尼團隊提出了一種基于光學的觸覺傳感器NeuroTouch。它將高度可變形的圓頂狀柔性材料與集成的神經形態攝像頭結合在一起，利用基于幀的動態視覺進行手勢檢測。

所提出方法通過使用基于事件的方法追蹤打印在彈性體表面的標記，并通過基于RANSAC的技術來利用它們的軌跡，將彈性體轉換為豐富而細致的交互式控制器。

為了對框架進行基準測試，團隊創建了一個25分鐘的手勢數據集。這個實時、輕量級和低延遲的管道在手勢分類方面的準確率超過91%，手指定位距離誤差為3.41毫米，手勢強度誤差為0.96毫米，并有望應用于增強現實/虛擬現實等設備。

交互式設備是用戶和數字環境之間的橋梁，其應用范圍包括增強現實和虛擬現實等。然而，盡管它們扮演著關鍵角色，但當前的交互式設備往往會給用戶帶來限制，尤其是手柄和剛性控制器。盡管它們堅固而精確，但可能缺乏自然和直觀交互所必需的表現力和人體工程學適應性。

另外，它們的剛性和傳統設計往往不能適應手部功能受損的用戶，限制了無障礙性。

在一項研究中，索尼團隊介紹了一種基于視覺的柔性材料控制器NeuroTouch。這種交互式裝置由高度可變形的硅膠制成，并通過多指手勢檢測實現了直觀和符合人體工程學的觸覺交互。通過利用神經形態攝像頭實時追蹤凝膠之上的標記，系統即便在高速環境下都能保持高性能。所提出手勢檢測管道提供精確的手指位置追蹤，準確的手勢類型分類和魯棒的強度估計。

觸覺傳感器的概述如圖1所示。它由通常在光學觸覺傳感器中發現的三個組件組成：硅膠、LED和攝像頭。然而，這個傳感器引入了兩個顯著的特征。第一個顯著特征是硅膠的大小和形狀。

與機器人中通常使用的凝膠不同，系統的凝膠相對較大（直徑60毫米），具有獨特的彎曲形狀，類似于圓頂。這種設計適應高變形，多指手勢，可以促進自然交互。

凝膠的硬度模仿人類皮膚的硬度，提供直觀和有機的觸覺體驗。凝膠表面由硅膠制成，黑色表面嵌入177個白色標記，形成網格狀圖案，有助于精確的運動追蹤。每個標記是一個直徑為1毫米的點，有規律地間隔4毫米。圖2演示了從攝像頭角度觀察到的標記的表示。

第二個特點是使用神經形態攝像頭系統，系統結合了標準的有源像素傳感器（APS）和基于事件的視覺傳感器（EVS）。EVS提供的高時間分辨率對于在快速手勢過程中追蹤標記運動至關重要。標準攝像頭通常以25-50赫茲工作，難以捕捉快速的標記位移，導致運動模糊和位置數據的顯著空白，這增加了追蹤錯誤的可能性。

盡管高速APS攝像頭可以緩解這些問題，但它們的代價是增加功耗，并且由于計算限制，可能難以實時追蹤大量標記。相比之下，EVS技術處理稀疏且接近連續的數據流，即便在高速運動中都能實現高頻、可靠和精確的標記追蹤。

另外，完全依賴EVS會帶來挑戰。由于傳感器的差異性，靜態場景產生的事件最少，其中大部分與傳感器噪點有關。所以，很難區分真正的標記和噪點偽影，導致追蹤質量隨著時間的推移而惡化。

因此，區分兩種靜態場景變得越來越困難。通過結合EVS和APS的優勢，所提出方法實現了最佳結果，利用EVS的高時間分辨率進行動態追蹤，APS用于靜態場景分析。對于NeuroTouch，團隊使用了分辨率為346 × 260的DAVIS-346攝像頭，以25 Hz的頻率捕獲幀，以微秒的分辨率捕獲事件。攝像頭的分辨率足以準確地追蹤標記，同時保持低功耗和實現快速的圖像處理運行時間。

團隊提出了一個在這種情況下定義和解釋手勢的基本框架。具體來說，通過三個關鍵組件來定義手勢：

接觸點的定位：手指觸摸硅膠表面并與之互動時的位置。由于手指覆蓋的區域有限，而不是單一的點，所以接觸點定義為手指相互作用導致硅膠最大變形的對應位置。

手勢類型：用戶動作的分類。將手勢分為五種基本類型：推、捏、縮放、順時針扭曲和逆時針扭曲。

手勢強度：測量手指周圍凝膠的變形程度，提供手勢強度的定量表示。

這項研究強調了基于光學的觸覺傳感在改變人機交互方面的潛力。通過在可變形的硅膠表面實現精確的手勢分類和接觸點檢測，團隊引入了一種新的界面范例，將柔性觸覺輸入與數字響應性集成在一起。在實驗中顯示的高精度和低延遲表明它適用于AR/VR等。

未來的研究可能會集中在提高設備對法向力的靈敏度。一種潛在的方法是估計標記的深度，以提供3D軌跡。另外，增加標記分辨率可能改善法向力檢測，但這可能需要優化運行時效率并相應地調整管道。

另一個有希望的方向是通過完全依賴基于事件的傳感器來解決功耗問題。這可以通過使用閃爍LED生成事件幀來實現，在不影響之中器性能的情況下有效地取代APS幀。

團隊指出，所述框架具有高度可擴展性，可適應各種硅膠形狀，并與現有的輸入設備兼容，以增強功能或作為獨立的觸覺控制器。

相關論文：From Soft Materials to Controllers with NeuroTouch: A Neuromorphic Tactile Sensor for Real-Time Gesture Recognition

總的來說，這項研究提出了一種使用基于視覺的柔性材料控制器NeuroTouch進行手勢檢測的新方法。系統利用嵌入標記和神經形態攝像頭的彎曲硅膠來實時準確地追蹤多指手勢。在公開可用的數據集上，NeuroTouch的接觸點定位誤差為3.41 mm，手勢分類準確率為91%，強度估計誤差為0.96 mm，證明了其在直觀和表達交互范式方面的可行性。未來的研究將探索擴展傳感器設計，改進檢測管道，并擴展系統在不同環境中的效用。