3DGS

（中國AI網(wǎng) 2025年05月14日）3DGS以其逼真、高效的渲染性能在虛擬現(xiàn)實等領(lǐng)域受到了廣泛關(guān)注。高質(zhì)量的3DGS重建依賴于足夠的飛濺及其合理分布，以適應真實的幾何表面和紋理細節(jié)，而這是一個具有挑戰(zhàn)性的問題。

針對這個問題，商湯科技和浙江大學團隊提出了一種基于幾何紋理感知的高密度化策略GeoTexDensifier，用于重建高質(zhì)量的高斯飛濺，使其更符合場景的幾何結(jié)構(gòu)和紋理豐富度。

具體來說，GeoTexDensifier框架執(zhí)行了一種輔助紋理感知致密化方法，在完全紋理區(qū)域產(chǎn)生更密集的飛濺分布，同時在低紋理區(qū)域保持稀疏性，以保持高斯點云的質(zhì)量。

同時，一種幾何感知的分割策略在深度比變化檢驗的驗證下，利用深度和法向先驗來指導分割采樣，濾除初始位置遠離實際擬合幾何表面的噪點飛濺。

在相對單目深度先驗的幫助下，這種幾何感知的驗證可以有效地減少散射高斯對最終渲染質(zhì)量的影響，特別是在紋理較弱或沒有足夠訓練視圖的區(qū)域。充分結(jié)合紋理感知致密化和幾何感知分割策略，可以獲得一組高質(zhì)量的高斯條紋。

研究人員在各種數(shù)據(jù)集實驗了GeoTexDensifier框架，并將新穎視圖合成結(jié)果與其他最先進的3DGS方法進行了比較，同時進行了詳細的定量和定性評估，以證明所提出方法在生成更逼真3DGS模型方面的有效性。

商湯與浙大研發(fā)GeoTexDensifier框架：幾何紋理雙優(yōu)化打造高保真3D高斯飛濺模型 第1張

3DGS以其高效的渲染性能和逼真的可視化效果受到廣泛關(guān)注，并在虛擬現(xiàn)實、混合現(xiàn)實和數(shù)字孿生等領(lǐng)域顯示出潛在的應用前景。與傳統(tǒng)的Multi-View Stereo和紋理映射等重建顯式網(wǎng)格模型的方法相比，3DGS模型能夠呈現(xiàn)更真實的紋理和細節(jié)。

另外，與神經(jīng)輻射場NeRF的隱式表示相比，3DGS創(chuàng)新性地提出使用一組稱為飛濺的可微三維高斯橢球體來表示捕獲場景的顯式結(jié)構(gòu)，更友好地支持三維空間高斯飛濺的編輯、重照明和物理模擬等圖形技術(shù)。3DGS通過對初始高斯點的分割和克隆實現(xiàn)完整的場景重建和紋理細節(jié)增強。

3DGS模型的高質(zhì)量重建和渲染依賴于兩個條件：第一是要有足夠數(shù)量的高斯飛濺來支持細節(jié)，第二是要確保飛濺在3D空間中優(yōu)化到正確的位置。

為了更好地解決致密化和定位問題，商湯科技和浙江大學團隊提出了一種新的3D高斯飛濺框架GeoTexDensifier，并用于高質(zhì)量的逼真新穎視圖渲染。

這個框架創(chuàng)新地提出了一種致密化策略，令重建的高斯函數(shù)更準確地符合場景的實際幾何結(jié)構(gòu)。另外，致密高斯模型包含足夠數(shù)量的飛濺來支持完全紋理區(qū)域，同時在弱紋理區(qū)域保持稀疏的高斯飛濺分布。通過這種方式，這個3DGS框架能夠生成高質(zhì)量的3D高斯模型。

原始3DGS存在“過度重建”問題，導致地毯等紋理區(qū)域的細節(jié)缺失，而GeoGaussian等研究改善了飛濺分布的空間結(jié)構(gòu)，Pixel-GS則進一步提高了地毯等特定紋理區(qū)域的飛濺密度，但兩者都缺乏足夠的飛濺采樣來支持紋理細節(jié)。

MiniSplatting有足夠的采樣，但在無紋理區(qū)域引入了過度致密的情況，這可能會產(chǎn)生額外的高斯噪點。相比之下，根據(jù)SSIM、PSNR（以dB為單位）和LPIPS指標的GT測試視圖渲染結(jié)果的定量評估，GeoTexDensifier提供了更準確的高斯飛濺空間分布，噪點更少，更逼真的新視圖渲染效果。

商湯與浙大研發(fā)GeoTexDensifier框架：幾何紋理雙優(yōu)化打造高保真3D高斯飛濺模型 第2張

GeoTexDensifier框架實現(xiàn)了一種幾何感知的分割策略，指導分割位置采樣在正常先驗的幫助下擬合場景的實際幾何表面，并根據(jù)深度比變化驗證對單眼深度先驗提供的相對深度進行檢查，過濾掉初始位置不合適的噪點飛濺。

同時，采用紋理感知的致密化策略作為輔助補充，對額外的大高斯分布進行分割，在完全紋理區(qū)域產(chǎn)生更密集的飛濺分布，而在無紋理區(qū)域保持稀疏分布，從而保持高質(zhì)量的高斯點云。

在迭代優(yōu)化中充分結(jié)合紋理感知的致密化策略和幾何感知的分割策略，最終得到高質(zhì)量的逼真3DGS模型。在MipNeRF 360、Tanks和Temples數(shù)據(jù)集和自拍場景的實驗驗證了GeoTexDensifier管道的有效性和魯棒性。

值得一提的是，團隊將GeoTexDensifier生成的3DGS模型導入開源的“Gaussian Splatting VR Viewer Unity Native Plugin”中，在Meta Quest頭顯實現(xiàn)逼真的沉浸式可視化和重建場景的實時交互導航，如圖8所示。

相關(guān)論文：GeoTexDensifier: Geometry-Texture-Aware Densification for High-Quality Photorealistic 3D Gaussian Splatting

總的來說，GeoTexDensifier是一個旨在更有效地增強3DGS密度的新框架，它首先采用紋理感知的致密策略，利用訓練圖像的紋理梯度來確保在高紋理區(qū)域充分填充飛濺，同時在低紋理區(qū)域保持稀疏性。

然后利用幾何感知的分割模塊，根據(jù)相對深度先驗驗證初始分割的飛濺位置，引導飛濺的空間分布更好地與場景的實際表面對齊。所以與SOTA方法相比，產(chǎn)生的高質(zhì)量3DGS模型具有更合理的分布飛濺和更少的噪點，從而產(chǎn)生更逼真的NVS效果。