對真實世界掃描的3D人體動態網格進行壓縮

（中國AI網 2025年05月16日）在虛擬現實和遠程呈現等應用的推動下，對真實世界掃描的3D人體動態網格進行壓縮是一個新興的研究領域。與固定拓撲的合成動態網格不同，掃描動態網格不僅在幀間具有不同的拓撲結構，而且存在孔洞和異常點等掃描缺陷，增加了預測和壓縮的復雜性。另外，人類網格通常結合剛性和非剛性運動，使得準確的預測和編碼比純剛性運動的對象更加困難。

為了解決所述挑戰，美國加州大學團隊提出了一種針對真實世界掃描的人體動態網格設計的壓縮方法，并利用了嵌入式關鍵節點。每個頂點的時間運動表示為來自相鄰關鍵節點的變換的距離加權組合，只需要傳輸關鍵節點的變換。

為了提高關鍵節點驅動預測的質量，研究人員引入了基于八叉樹的殘差編碼方案和雙向預測模式。大量的實驗表明，所提出方法比目前的方法有了顯著的改進，在評估的序列中平均比特率節省了24.51%，特別是在低比特率下。

3D動態網格固有的深度和多種視角有助于豐富各種應用的體驗，如虛擬現實。掃描的三維人體動態網格具有特殊的意義。它們使人類運動的真實表現和共享成為可能。由于經濟實惠的掃描技術的進步，這種能力越來越容易獲得，并且正在從娛樂和訓練模擬到醫療保健和通信等廣泛的應用發展。

然而，網格的巨大存儲和傳輸需求需要有效的壓縮技術，以保持掃描人體網格的結構完整性和運動保真度。

與使用圖形設計軟件創建的合成動態網格（通常具有固定拓撲和定義良好的結構）不同，真實世界的掃描人體網格呈現出獨特的挑戰。它們的拓撲結構經常在不同幀之間變化，隨著頂點數量、連通性和對應性的變化而變化。

另外，掃描網格經常存在孔洞、噪點和異常值等缺陷，這增加了預測和壓縮的復雜性。開發能夠有效解釋這種時空變化的方法是一項關鍵的研究挑戰。

由于剛性運動（通常用于手臂和腿）和非剛性運動（通常用于軀干，手指和衣服）的組合，人體網格引入了挑戰。與剛性物體不同，人體運動涉及復雜的變形和細粒度運動，需要更復雜的建模來實現準確的預測和有效的壓縮。

美國加州大學團隊早期的研究證明了在真實世界掃描的動態人體網格中使用稀疏關鍵節點捕獲時間運動的潛力，而這項新研究則通過提高壓縮效率和時間預測的新技術來顯著擴展之前的框架。

具體來說，通過顯式量化關鍵節點驅動的運動向量和通過傳輸符合柯西分布的 Huffman dictionaries來優化熵編碼，從而實現更好的壓縮率。另外，團隊提出了基于八叉樹的殘差編碼來提高幾何預測精度，并引入了雙向預測模式，使動態人體運動隨時間的建模更具適應性。

為了解決不一致拓撲的挑戰，消除對顯式頂點對應的需要，KeyNode-Driven Compression方法利用嵌入式關鍵節點來表示運動向量，同時確保有效的壓縮。每個頂點的時間運動表示為其鄰近關鍵節點變換的距離加權組合。從幀t - 1的幾何形狀開始，使用嵌入的關鍵節點通過嵌入變形來預測幀t的幾何形狀，其中幀t - 1的幾何形狀被變形以估計幀t的幾何形狀。

由于關鍵節點通常是稀疏的，運動向量是量化的，所以會出現預測誤差。為了解決所述問題，采用基于八叉樹的殘差編碼來改進幀t的預測幾何形狀。在序列層面，使用雙向預測模式增強了預測過程。

相關論文：KeyNode-Driven Geometry Coding for Real-World Scanned Human Dynamic Mesh Compression

團隊主要介紹了一種有效的方法來壓縮真實世界掃描的三維動態人體網格，利用嵌入式關鍵節點及其變換來不紅頂點的時間演變。他們提出的策略將每個頂點的時間變化作為關鍵節點變換的加權組合來計算，從而促進運動的全面表示。

關鍵節點驅動方法通過有效地處理幀之間的拓撲變化和適應掃描缺陷來解決動態人體網格壓縮的挑戰。通過使用稀疏的關鍵節點，所提出方法準確地捕獲和表示了人體運動的復雜性，實現了高效的壓縮。

為了提高關鍵節點預測的質量，團隊提出了一種基于八叉樹的殘差編碼方案和一種雙向預測模式來進一步改進時間預測。與V-DMC相比，所提出方法在幾何編碼方面具有明顯的優勢，特別是在慢動作序列類別中。對于Fast Motion和Join/Split序列，所述方法表現出相當的性能。相關結果突出了所提出方法在處理不同拓撲和掃描缺陷方面的有效性，同時強調了在快速運動的人體動態網格中準確預測p幀幾何形狀的挑戰。