為新視圖合成實(shí)現(xiàn)快速和高質(zhì)量的結(jié)果
（中國AI網(wǎng) 2025年07月03日）在一項(xiàng)研究中，Meta團(tuán)隊(duì)提出了一種RayGS硬件柵格化渲染方法，目標(biāo)是為新視圖合成實(shí)現(xiàn)快速和高質(zhì)量的結(jié)果。解決方案是第一個(gè)能夠以足夠高的幀率渲染RayGS模型，以支持質(zhì)量敏感的應(yīng)用，如虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)。另外，通過解決在訓(xùn)練和測試期間渲染發(fā)散尺度時(shí)出現(xiàn)的mip相關(guān)問題，從而為RayGS實(shí)現(xiàn)無鋸齒渲染。研究人員在不同的基準(zhǔn)場景中展示了顯著的性能提升，同時(shí)保留了最先進(jìn)的RayGS外觀質(zhì)量。
神經(jīng)輻射場NeRF和3DGS的發(fā)展為虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)應(yīng)用中的逼真新視圖合成時(shí)代鋪平了道路。輻射場可以捕獲現(xiàn)實(shí)世界場景的細(xì)微差別，包括細(xì)粒度紋理細(xì)節(jié)，復(fù)雜的照明現(xiàn)象和透明表面。3DGS則具有一系列有趣的屬性，包括可解釋性，靈活性和實(shí)時(shí)渲染。一旦場景模型重建，像新視圖合成這樣的應(yīng)用就需要快速和實(shí)時(shí)的渲染能力。
盡管3DGS比NeRF快得多，并且進(jìn)一步的研究旨在解決提高渲染速度的問題，但它們的大多數(shù)目標(biāo)應(yīng)用依然集中在2D消費(fèi)或小型屏幕的渲染。相比之下，VR應(yīng)用在渲染質(zhì)量方面的標(biāo)準(zhǔn)要高得多，因?yàn)榈弯秩举|(zhì)量會破壞沉浸感，從而減損整體體驗(yàn)。
一系列的研究都有助于進(jìn)一步提高3DGS的重建質(zhì)量，特別是基于光追的3DGS，亦即RayGS的體渲染顯示出卓越的質(zhì)量。質(zhì)量的提高主要是由于消除了傳統(tǒng)3DGS所需的特定近似，但這增加了計(jì)算成本，使其不適合基于消費(fèi)級硬件的高幀率應(yīng)用。
在Meta的研究中，研究人員提出了一種基于硬件柵格化的新穎且實(shí)質(zhì)上更快的渲染器，同時(shí)保留了RayGS的高質(zhì)量。硬件柵格化管道已經(jīng)在標(biāo)準(zhǔn)3DGS成功演示，基于使用標(biāo)準(zhǔn)圖形管道組件實(shí)現(xiàn)跨平臺使用。對于標(biāo)準(zhǔn)3DGS，頂點(diǎn)著色器通過四邊形包圍相應(yīng)的投影橢圓在圖像平面的最小面積來確定每個(gè)高斯基元的支持面積。然后片段著色器計(jì)算原語的不透明度信息，給出頂點(diǎn)著色器計(jì)算的位置信息。
團(tuán)隊(duì)提出的解決方案在3D空間中產(chǎn)生最小的封閉四邊形，結(jié)果證明與標(biāo)準(zhǔn)3DGS的硬件柵格化變體一樣快，同時(shí)保留了RayGS的更高質(zhì)量。他們主要是從無窮多個(gè)有效解中選擇計(jì)算最有效的解，這是團(tuán)隊(duì)的第一個(gè)重要貢獻(xiàn)。
團(tuán)隊(duì)的第二個(gè)貢獻(xiàn)解決了與mip相關(guān)的問題。所提出解決方案可以在不同的測試和訓(xùn)練尺度實(shí)現(xiàn)圖像的無鋸齒渲染，從而防止不必要的偽影。對于給定的歸一化射線，在與射線正交并與其最大密度點(diǎn)相交的平面邊緣化高斯三維分布。這產(chǎn)生了一個(gè)二維高斯分布，可以局部平滑以近似像素區(qū)域上的積分，并進(jìn)一步計(jì)算像素區(qū)域中每個(gè)點(diǎn)的渲染不透明度。他們推導(dǎo)了一個(gè)近似的解決方案，并可以有效地集成到渲染器中。
總而言之，團(tuán)隊(duì)提出了一個(gè)數(shù)學(xué)上嚴(yán)格和幾何上直觀的推導(dǎo)，以用于推導(dǎo)高質(zhì)量和快速，硬件光柵化，基于光線的高斯飛濺所需的所有數(shù)量。他們同時(shí)介紹了一種在RayGS中處理mip相關(guān)問題的解決方案，并通過定性和并排比較進(jìn)行了演示。最后，他們提供了定量評估結(jié)果，證明可以保留基于RayGS模型的最先進(jìn)外觀性能，同時(shí)從MipNeRF360和Tanks&Temples基準(zhǔn)數(shù)據(jù)集中獲得平均約40倍的快速渲染性能。
理解為什么解決與mip相關(guān)的問題很重要，團(tuán)隊(duì)在圖4提供了一個(gè)來自MipNeRF360自行車場景的示例。他們展示了從遠(yuǎn)處攝像頭渲染的圖像中截取的自行車。左上角，用普通的VKRayGS提供渲染，它展示了強(qiáng)大的混疊偽影。右上，采用了4倍多采樣抗鋸齒（MSAA）方法，即每像素平均4條射線，但這種解決方案只能部分解決問題，并且計(jì)算成本更高。
左下的解決方案解決了鋸齒問題，但原語不自然地厚（參見自行車車輪光線）。最后在右下角，團(tuán)隊(duì)的解決方案產(chǎn)生無偽影的抗鋸齒輸出，計(jì)算開銷可以忽略不計(jì)。
圖5突出顯示了當(dāng)使用像VKGS這樣的GS渲染器而不是像團(tuán)隊(duì)方案時(shí)通常發(fā)生的偽影。圖例展示了在MipNeRF360的房間場景中沿線性軌跡移動的攝像頭的三幀。攝像頭移動到場景中的物體附近是有目的的，因?yàn)檫@通常是發(fā)生偽影的環(huán)境。上面一行展示了VKGS的結(jié)果，它顯示出與場景幾何不一致的峰值。下面一行報(bào)告了使用VKRayGS獲得的結(jié)果。正如你所見，影響GS渲染器的偽影不存在。這是因?yàn)樵赗ayGS模型中，渲染的不透明度在幾何上比GS更一致。
相關(guān)論文：Hardware-Rasterized Ray-Based Gaussian Splatting
https://arxiv.org/pdf/2503.18682
總的來說，Meta提出了一種使用硬件光柵化來渲染RayGS的新方法，并實(shí)現(xiàn)了快速和高質(zhì)量的新視圖合成結(jié)果。所述解決方案利用了RayGS的優(yōu)勢，而與傳統(tǒng)3DGS相比，它提供了卓越的質(zhì)量，同時(shí)在所有測試場景中獲得了顯著的渲染速度提升。實(shí)驗(yàn)已經(jīng)證明，所提出方法可以以適合VR和MR應(yīng)用的幀率渲染高質(zhì)量的圖像。團(tuán)隊(duì)的貢獻(xiàn)包括數(shù)學(xué)上嚴(yán)格和幾何上直觀的推導(dǎo)，有效地估計(jì)RayGS模型渲染的所有相關(guān)數(shù)量，以及解決RayGS公式中與mip相關(guān)的問題，它可以在不同的測試和訓(xùn)練尺度上實(shí)現(xiàn)場景的無鋸齒渲染。
研究人員展示了如何在測試時(shí)顯著加速RayGS模型，但使用硬件柵格化來改善訓(xùn)練時(shí)間會非常有趣。當(dāng)然，如何實(shí)現(xiàn)這一點(diǎn)并不容易，所以團(tuán)隊(duì)將把這個(gè)課題留給未來的研究。
