即便物體是陌生的或部分模糊，系統都能實時重建復雜的手-物體動態

（中國AI網 2025年06月17日）蔚山科學技術院的研究人員日前介紹了一種雙手交互3DGS。這種創新的人工智能模型可以用一個RGB視頻輸入來將手和對象之間的復雜交互可視化為3D，從而進一步增強實時交互能力。

即便物體是陌生的或部分模糊，系統都能實時重建復雜的手-物體動態。

這一領域的傳統方法僅限于一次識別一只手或僅對預掃描對象做出響應，限制了它們在現實AR和VR環境中的適用性。

相比之下，團隊的解決方案可以可靠地預測完整的物體和手形狀，即便物體是陌生的或部分模糊，系統都能實時重建復雜的手-物體動態，不需要深度傳感器或多個攝像頭，而是僅僅依賴單個RGB攝像頭。

這個AI模型的核心是基于3DGS，一種將物體形狀表示為具有光滑高斯分布的點云的技術。與產生清晰邊界的點云方法不同，3DGS能夠自然重建接觸面和復雜的相互作用。

另外，模型通過將多個手實例對齊到典型高斯結構來進一步解決遮擋問題，并采用預訓練的擴散模型進行SDS，使其能夠準確地重建看不見的表面，包括物體的背面。

利用ARCTIC和HO3Dv3等國際數據集進行的大量實驗表明，團隊提出的BIGS在準確捕獲手部姿勢、物體形狀、接觸交互和渲染質量方面優于現有技術，并在虛擬現實和增強現實等領域的應用具有重要的前景。

相關論文：BIGS: Bimanual Category-agnostic Interaction Reconstruction from Monocular Videos via 3D Gaussian Splatting

研究人員指出：“這一進展有望在虛擬現實、增強現實和遠程手術訓練等多個領域實現實時交互重建。”