查看引用/信息源請點擊：中國AI網
能夠對新穎視角和鉸接狀態進行實時、照片級真實感的渲染
（中國AI網 2025年09月25日）重建日常環境中普遍存在的鉸接物體對于增強現實/虛擬現實等應用至關重要。然而，現有方法面臨可擴展性限制（需要3D監督或昂貴的標注）、魯棒性問題（容易陷入局部最優）和渲染缺陷（速度慢或缺乏照片級真實感）。針對這個問題，豐田團隊介紹了SplArt。這個自監督、跨類別框架利用3DGS技術，僅需從在不同鉸接狀態下捕獲的兩組已定位RGB圖像，即可重建鉸接物體并推斷其運動學，從而能夠對新穎視角和鉸接狀態進行實時、照片級真實感的渲染。
SplArt通過為每個高斯點引入一個可微分的移動性參數來增強3DGS，實現了精細化的部件分割。框架采用多階段優化策略，逐步處理重建、部件分割和鉸接估計，顯著提高了魯棒性和準確性。另外，SplArt利用幾何自監督，有效應對具有挑戰性的場景，無需3D標注或類別特定的先驗知識。在既有和新提出的基準測試的評估，以及使用手持RGB攝像頭在真實場景中的應用，均證明了SplArt的先進性能和現實實用性。
鉸接物體（如抽屜、門、剪刀）在我們的日常生活中無處不在，然而其動態特性為3D重建帶來了重大挑戰。現有的鉸接物體重建方法受到數個關鍵限制的阻礙：它們通常需要勞動密集型的監督；依賴于限制實際應用的3D監督；產生特定于類別的模型，限制了可擴展性；或者它們無法實現實時、照片級真實感的渲染。
為了應對所述挑戰，豐田團隊介紹了SPLART，這是一種新穎的自監督且類別無關的框架，它利用3DGS技術，從最少的輸入——兩組在不同鉸接狀態下的已定位RGB圖像——重建鉸接物體。SPLART重建物體部件并推斷運動學，能夠對新穎視角和鉸接狀態進行實時、照片級真實感的渲染。
SPLART的核心是對3DGS進行增強，為每個高斯點包含一個可微分的移動性參數，這使得能夠通過基于梯度的優化對靜態和移動部件進行更精細的分割。這帶來了重建質量的提升，同時保留了3DGS的實時、照片級真實感渲染能力。相較于基于神經輻射場的方法，速度提高了100倍以上。
為了增強魯棒性，SPLART采用了一種多階段優化策略，將部件級重建和鉸接估計過程解耦。與容易陷入局部最優的端到端方法不同，SPLART首先獨立地重建每個鉸接狀態，然后估計每個高斯點的移動性參數以進行部件分割，最后聯合優化鉸接和移動性估計。這種結構化的方法確保了穩定和準確的收斂，避免了現有方法嚴格的初始化要求，從而為具有挑戰性的鉸接結構提供了實用的解決方案。
在此基礎上，SPLART利用幾何自監督來消除手動標注或3D監督的需要。通過強制執行重建之間的幾何一致性，SPLART能夠在各種場景中魯棒地估計鉸接參數。這種自監督策略增強了可擴展性，使SPLART能夠重建廣泛的鉸接物體，而無需依賴先前的結構或類別知識。
在既有和新引入的基準測試上進行的大量評估表明，SPLART在鉸接準確性和重建質量方面均優于最先進的方法，且無需3D監督。真實世界實驗進一步驗證了其實用性，展示了僅使用手持RGB相機即可成功重建各種鉸接物體。
團隊定量評估了SPLART在鉸接估計準確性方面與基線方法的對比，在PARIS-PMS數據集（表1）和SPLART-PMS數據集（表4）上報告了每種鉸接類型的場景平均結果。SPLART在兩個數據集上均優于基線方法。另外，表6中定性比較了SPLART與PARIS在這些數據集上的選定場景。在“color”列中，每張圖像疊加了真實鉸接（綠色箭頭）和估計鉸接（紅色箭頭），ground-truth列除外。當估計值與真實值完全一致時，僅顯示紅色箭頭；如果嚴重未對齊，則僅顯示綠色箭頭。
研究人員評估了SPLART的部件級重建準確性，并使用新穎視角合成作為替代任務。在PARIS-PMS數據集（表2）和SPLART-PMS數據集（表5）上報告了每種鉸接類型的場景平均結果。他們同時通過網格重建評估幾何準確性，在PARIS-PMS數據集（表1）上呈現了每種鉸接類型的場景平均結果。
在沒有DTA基線所需的深度監督的情況下，SPLART達到了與DTA相當的性能，兩者都顯著超過了PARIS。表6提供了與PARIS的定性比較，包括RGB渲染圖和部件分割圖，比較基于兩個數據集中的選定場景。關于鉸接合成的進一步定性結果見圖5。
他們在一個收集的真實世界數據集上定性評估了SPLART，結果如表3所示。每張圖像都疊加了估計的鉸接，用紅色箭頭可視化。另外，廣泛的消融研究以證明每個階段的貢獻。
具體來說，進行了以下四項消融：(1) 移動性估計無幾何監督，即跳過階段2(a)，標記為SPLART-2a；(2) 移動性估計無光度監督，即跳過階段2(b)，標記為SPLART-2b；(3) 鉸接估計無幾何監督，即跳過階段3(a)，標記為SPLART-3a；(4) 鉸接估計無光度監督，即跳過階段3(b)，標記為SPLART-3b。與主要實驗一樣，對每個場景進行了10次運行，但僅在更具挑戰性的SPLART-PMS數據集上進行。表4中報告了鉸接估計結果。
相關論文：SplArt: Articulation Estimation and Part-Level Reconstruction with 3D Gaussian Splatting
https://arxiv.org/pdf/2506.03594
總的來說，SPLART是一個利用3DGS進行鉸接物體重建的自監督方法，僅需兩狀態RGB觀測，且無需3D監督或類別特定的先驗知識。SPLART提供了魯棒的優化，有效處理具有挑戰性的場景，其性能優于先前的方法，同時消除了對3D監督、鉸接標注或語義標簽的需求。
在合成和真實數據集上的大量評估表明，SPLART的鉸接估計準確性和視圖合成質量均超越了現有方法。真實世界實驗進一步驗證了其實用性，展示了僅使用手持RGB攝像頭即可成功重建各種鉸接物體。所提出框架允許非專業用戶能夠輕松創建高保真的鉸接數字孿生，支持增強現實/虛擬現實等技術的應用。
然而，盡管SPLART有效處理了兩部件鉸接，但它缺乏對多部件鉸接物體的直接支持（迭代地將其應用于遞增的狀態對可能有所幫助）。未來的研究將專注于對多級鉸接物體的全面適配。另外，當多種鉸接方式都能解釋狀態差異時，可能會出現固有的模糊性，如圖6中的示例所示。總體而言，SPLART代表了一個可擴展、魯棒且實用的解決方案，它推動了鉸接物體重建的邊界，為未來的研究奠定了堅實的基礎。
