在30個手勢中實現了99.15%的準確率

（中國AI網 2025年07月24日）隨著人機交互（HCI）需求的增加，柔性可穿戴手套已成為虛擬現實等領域的前景解決方案。然而，這項技術目前依然存在靈敏度不足、耐久性有限等問題，阻礙了其廣泛應用。在一項研究中，英國愛丁堡大學團隊介紹了一種基于線形電極和液態金屬（EGaIn）的高靈敏度、模塊化和柔性電容式傳感器，并將其集成到適合人手解剖結構的傳感器模塊中。

所提出的系統可以獨立捕獲每個手指關節的彎曲信息，而相鄰手指之間的額外測量可以記錄手指間距的細微變化。設計可以使用點云實現精確的手勢識別和復雜運動的動態手部形態重建。

實驗結果表明，基于卷積神經網絡（CNN）和多層感知器（MLP）的分類器在30個手勢中實現了99.15%的準確率。同時，基于transformer的深度神經網絡（DNN）在平均距離（AD）為2.076\pm3.231 mm的情況下，準確地重建了動態手部形狀，單個關鍵點的重建精度比SOTA基準高出9.7%至64.9%。手套在手勢識別和手部重建方面具有優異的準確性、魯棒性和可擴展性，是下一代人機交互系統的理想解決方案。

人類雙手在日常任務和專業操作中發揮著關鍵作用，因為它們的高自由度能夠實現卓越的靈活性和精確控制。然而，傳統的剛體傳感技術在適應性和響應性方面存在固有的局限性，使其難以捕獲手部的全部結構。嵌入軟傳感器的可穿戴手套已經成為測量手和手指物理變形和運動的有效解決方案。

近年來，業界提出了多種提高柔性手套傳感能力的策略。一種方法是利用基于視覺的系統，通過攝像頭和標記來捕獲手部姿勢。盡管所述方法受益于先進的計算機視覺算法，可以達到較高的精度，但其有效性受到環境因素和遮擋的限制。

另一種策略利用人手的固有特性，如表面肌電圖（sEMG）來推斷手勢。相關方法通過利用生理信號提供強大的傳感，但它們通常需要緊密的皮膚接觸，并且模型需要逐個進行訓練。所以，用戶如何佩戴手套的變化會顯著影響傳感器的性能和有效性。

一種更直接的方法是使用應變傳感器，將機械變形轉換為電信號。傳感器能夠捕獲手部運動，不依賴于攝像頭的幫助，同時不需要與手完美配合。這類應變傳感器根據傳感原理進一步分類，包括電阻、電容、光學]和摩擦電傳感器。盡管應變傳感器比其他傳感技術具有優勢，但在重建全手運動方面依然存在重大挑戰。

電阻式傳感器易于集成和校準，但其固有的靈敏度較低。基于摩擦電的傳感器可以實現自供電傳感，但在長期使用過程中，由于持續的摩擦，它們會受到材料磨損的影響，從而降低性能和壽命。相比之下，電容傳感器通常提供高靈敏度、快速響應和良好的重復性，因為它們能夠檢測微小的結構變化（如電極間距或重疊區域的變化），而變化會改變電容。所以，由于所述優點，電容式傳感器已成為可穿戴傳感的潛在候選者。

然而，電容式傳感器組件材料的選擇——包括介電層、電極和封裝——會顯著影響其性能和耐用性。以往的研究已經探索了用于柔性電容傳感器的各種電極材料，包括炭黑復合材料、碳納米管、金屬納米粒子和導電紡織品。然而，它們無法達到共晶鎵(75.5%)-銦（24.5%）（EGaIn）的高導電性和穩定的變形響應。其中，EGaIn的導電性為（3.4×107 S m?1），并擁有優異的機械適應性。

除了傳感硬件，重建手的完整3D形狀具有挑戰性。目前，大多數手部形狀重建方法依賴于測量關節角度的傳感器。所述傳感器通常只放置在手指關節處，捕獲局部曲率，但忽略了相鄰手指之間復雜的空間相互依賴性。另外，所述方法往往依賴于運動學模型，并包含手部解剖和運動模式的先驗信息或假設，這進一步限制了它們的準確性和適應性。有限的傳感器布局使它們無法完全代表手部運動的復雜和動態性質。

為了同時檢測關節彎曲和測量手指間距，早期的研究不得不在關節和手指間距部署多種類型的傳感器或部署更多的傳感器模塊。相比之下，英國愛丁堡大學團隊的方法利用流線型傳感器布局和獨特的傳感策略，不僅可以捕獲單個手指彎曲，而且可以直接記錄手指之間微妙的空間關系。如圖1所示，研究人員展示了一種由硅樹脂和液態金屬制成的柔性可穿戴手套，可用于高精度手勢識別和具有點云的復雜手部運動實時重建。

在手勢識別方面，團隊使用所提出的柔性傳感器模塊來收集每個手指的彎曲數據，然后使用基于卷積神經網絡（CNN）和多層感知器（MLP）的分類器進行處理。在訓練過程中，模型構建手勢類別識別模式。在測試過程中，系統高效準確地將輸入特征分類到相應的手勢類別中，實現了實時手勢識別。

CNN-MLP模型參數詳見表1。分類結果平均識別準確率達到99.15%，其中男性樣本達到99.61%，女性樣本達到98.69%，表現出極高的分類一致性和魯棒性。結果驗證了所提出的傳感器設計和傳感策略的有效性，僅通過14個電容測量就可以捕獲手指曲率信息，從而實現對復雜手勢的精確識別。

盡管參與者群體之間存在微小差異，但總體分類一致性和穩健性依然非常高，顯示出在不同環境中的廣泛適用性。表2比較了所提出方法與SOTA方法。系統在傳感器數量，多樣性和識別精度之間實現了平衡權衡，同時優于最近的研究。

在手重建方面，圖7給出了追蹤測試結果的幾個例子，其中比較了視覺標記的估計坐標（紅色）和ground truth值坐標（黑色）。在所有給定的情況下，估計的標記位置與ground truth情況密切一致，表明重建精度高。對于整個測試數據集，模型的AD值為2.076±3.231 mm。實驗結果表明，重建的手形在指尖位置、關節曲率和指間距離等關鍵方面與攝像頭捕獲的真實三維坐標高度一致。

目前的SOTA僅針對單個指尖的三維坐標進行評估，兩種手尺寸的平均誤差分別為3.24 mm和4.02 mm。為了更好地評價它們，研究人員計算了15個點的平均誤差分別從1.412 mm到2.9250 mm，每個點的重建精度比SOTA提高了9.7%到64.9%。

相關論文：Modular Soft Wearable Glove for Real-Time Gesture Recognition and Dynamic 3D Shape Reconstruction

https://arxiv.org/pdf/2504.05983

總的來說，團隊開發了一種具有液態金屬電容傳感器的柔性可穿戴手套，通過線狀電極陣列和模塊間傳感策略，可以精確捕獲手指關節彎曲和手指間距。對于手勢識別，系統僅使用14個關鍵測點就達到99.15%的準確率。對于手部形態重建，使用基于transformer的深度神經網絡處理28個復合測量，實現了精確的實時手部追蹤，AD為2.076±3.231 mm，單個關鍵點的重建精度比SOTA基準高出9.7%至64.9%。

實驗結果驗證了系統在靜態和動態條件下的魯棒實時性，使其成為VR等領域的前景解決方案。展望未來，團隊將專注于在傳感器優化、算法增強和在更復雜環境中的部署。