充分利用2DGS和3DGS的優勢

（中國AI網 2025年05月05日）重建高保真三維Avatar在虛擬現實等各種應用中至關重要。利用神經輻射場（NeRF）重建逼真Avatar的開創性方法受到訓練和渲染速度的限制。基于3DGS的新方法可以顯著提高了訓練和渲染的效率，但由于三維立體圖像的表面不一致導致幾何精度不理想。另外，2DGS使用2D Surfels，以犧牲渲染保真度為代價來提高幾何精度。

為了充分利用2DGS和3DGS的優勢，中國科學院，中國科學院大學，英特爾，清華大學，南開大學，北京大學團隊提出了一種名為MixedGaussianAvatar的新方法，以用于真實和幾何精確的Avatar重建。

主要思想是利用2D高斯重建Avatar的表面，確保幾何精度。她們將2D高斯函數附加到FLAME模型的三角形網格，并將額外的3D高斯函數接到2DGS渲染質量不足的2D高斯函數，從而創建了一個混合的2D-3D高斯表示。

接下來，使用FLAME參數將2D-3D高斯函數動畫化。研究人員進一步引入了一種漸進的訓練策略，首先訓練2D高斯函數，然后對混合2D-3D高斯函數進行微調。綜合實驗證明了MixedGaussianAvatar的優越性。

研究員分享基于混合2D-3D高斯濺射的幾何精確高保真頭部Avatar重建 第1張

從不同視點捕獲的多個2D圖像重建高質量的3D Avatar對于各種應用至關重要，尤其是虛擬現實。關鍵的高保真方面包括和幾何和逼真精度。隨著深度學習的進步，基于神經輻射場NeRF 和3DGS的技術越來越受歡迎，為創建高保真3D Avatar提供了顯著的優勢。

NeRF引入了輻射場的概念，利用神經網絡存儲3D信息，從而可以重建高質量的靜態場景。在3D Avatar重建方面，所提出的方法主要側重于重建動態Avatar。例如，Neural Head avatar (NHA) 處理顯示各種表情和視角的RGB視頻輸入。NHA包括從RGB輸入幀中估計和精煉FLAME模型的低維形狀、表情和姿態參數，這允許創建一個可以從新視點動畫和渲染的神經Avatar。

然而，由于NeRF的隱式表征特征，使用基于NeRF的方法生成的Avatar精度較低，并且訓練和渲染過程較慢。

最近，3DGS有效地利用3D高斯模型對靜態場景進行建模，并通過可微光柵化器進行渲染，大大加快了多視圖RGB圖像的三維重建過程。由于3DGS的顯式表示和高效的柵格化特性，它可以實現高渲染質量和快速的訓練和推理速度。在3D Avatar重建中，大多數方法是將3D高斯函數附加到FLAME三角形網格以創建動態面部表情。例如，GaussianAvatars將3D高斯的局部位置、旋轉和尺度與全局參數對齊。Gaussian Head Avatar則利用神經網絡預測3D高斯參數。

上述方法的優勢在于它們能夠動態地表示3D Avatar，同時產生高質量的圖像。然而，由于3DGS固有的多視圖不一致性，它不能準確地重建幾何表面。

在另一方面，2DGS將3D高斯替換為2D高斯，并在飛濺過程中采用射線-飛濺交叉方法，確保了多個視圖之間的一致性。其優點在于重構幾何表面的高質量，但會影響渲染圖像的質量。

總結3DGS和2DGS：

3DGS在新穎視圖合成方面取得了逼真的效果，但在捕獲精確的幾何結構方面存在困難。

2DGS使用2D Surfels來精確重建幾何表面，但不能像3DGS那樣有效地渲染逼真的圖像。

為了利用3DGS和2DGS的優勢，中國科學院，中國科學院大學，英特爾，清華大學，南開大學，北京大學團隊引入了一種名為MixedGaussianAvatar的創新方法。

所提出的解決方案采用2D-3D混合高斯表示，將3DGS的顯色優勢與2DGS的幾何重建優勢相結合，并實現了逼真、幾何精確的3D頭部頭像重建。

研究員分享基于混合2D-3D高斯濺射的幾何精確高保真頭部Avatar重建 第2張

如圖1所示，團隊的主要目標是使用2DGS來保持表面的幾何精度。他們將2D高斯函數附加到FLAME模型的三角形網格，然后在渲染質量不足的區域將額外的3D高斯函數接到相應的2D高斯函數。混合2D-3D高斯分布可以使用FLAME參數驅動，形成動態三維表示。

為了訓練混合2D-3D高斯函數，研究人員進一步提出了一種漸進式訓練策略，即首先訓練2D高斯函數，然后對混合2D-3D高斯函數進行微調.

所提出的可微混合2D- 3D高斯濺射方法從多視圖2D圖像中精確重建幾何精確的Avatar，如圖2所示。他們從訓練3D Avatar的2D高斯表示開始，以確保幾何精度。接下來，識別渲染質量不足的2D高斯。

研究員分享基于混合2D-3D高斯濺射的幾何精確高保真頭部Avatar重建 第3張

對于已識別的2D高斯，綁定額外的3D高斯來構建混合2D-3D高斯。他們使用局部到全局轉換方法來轉換混合2D-3D高斯，以創建動態3D Avatar。最后，訓練混合2D-3D高斯來創建逼真的和幾何準確的Avatar。

相關論文：MixedGaussianAvatar: Realistically and Geometrically Accurate Head Avatar via Mixed 2D-3D Gaussian Splatting

總的來說，MixedGaussianAvatar是一種使用混合2D-3D高斯飛濺來創建Avatar的新方法。他們使用2DGS來保持表面幾何形狀，并在2DGS渲染質量不足的地方使用3DGS進行色彩校正，重建一個真實且幾何精確的3D Avatar。

團隊采用局部到全局的變換技術來重建動態Avatar，并采用漸進式訓練策略來訓練混合2D-3D高斯圖像。所述方法在網格重建和紋理渲染方面表現出優異的性能，為領域樹立了新的標準。

代碼請訪問這個頁面。