高斯Avatar

（中國(guó)AI網(wǎng) 2025年04月18日）隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，人們對(duì)3D Avatar的需求越來(lái)越大。Gaussian Splatting技術(shù)的出現(xiàn)使得高斯Avatar的渲染具有更高的視覺(jué)質(zhì)量和更低的計(jì)算成本。盡管業(yè)界提出了一系列的方法來(lái)實(shí)現(xiàn)可驅(qū)動(dòng)的高斯Avatar，但對(duì)平衡視覺(jué)質(zhì)量和計(jì)算成本的關(guān)注有限。

在一項(xiàng)研究中，北京理工大學(xué)和鵬城實(shí)驗(yàn)室團(tuán)隊(duì)介紹了LoDAvatar，一種通過(guò)分層嵌入和選擇性細(xì)節(jié)增強(qiáng)方法將細(xì)節(jié)層次引入高斯Avatar的方法。

LoDAvatar的關(guān)鍵步驟包括數(shù)據(jù)準(zhǔn)備、高斯嵌入、高斯優(yōu)化和選擇性細(xì)節(jié)增強(qiáng)。團(tuán)隊(duì)在不同的細(xì)節(jié)水平進(jìn)行了涉及高斯Avatar的實(shí)驗(yàn)，并采用客觀(guān)評(píng)估和主觀(guān)評(píng)估。結(jié)果表明，在渲染過(guò)程中，將細(xì)節(jié)層次整合到高斯Avarar中可以減少計(jì)算成本，同時(shí)保持合適的視覺(jué)質(zhì)量，從而提高運(yùn)行時(shí)幀率。

團(tuán)隊(duì)表示，提倡采用LoDAvatar來(lái)渲染多個(gè)動(dòng)態(tài)高斯角色或廣泛的高斯場(chǎng)景，以平衡視覺(jué)質(zhì)量和計(jì)算成本。

虛擬現(xiàn)實(shí)技術(shù)的發(fā)展增加了對(duì)逼真的3D Avatar的需求。制作3D Avatar的傳統(tǒng)方法通常涉及利用掃描數(shù)據(jù)或基于多視圖圖像進(jìn)行3D建模。近年來(lái)，3D Gaussian Splatting（3DGS）技術(shù)的引入為生成Avatar開(kāi)辟了新的途徑。

3DGS是一種創(chuàng)新的渲染技術(shù)，專(zhuān)為虛擬對(duì)象和場(chǎng)景的實(shí)時(shí)渲染而設(shè)計(jì)。與依賴(lài)點(diǎn)和網(wǎng)格進(jìn)行虛擬對(duì)象和場(chǎng)景構(gòu)建的傳統(tǒng)方法相比，3DGS呈現(xiàn)為一種靈活且富有表現(xiàn)力的表示方式。各向異性三維高斯函數(shù)可以準(zhǔn)確地描繪高質(zhì)量的輻射場(chǎng)，高斯函數(shù)顯式，非常適合基于GPU的快速光柵化。

這個(gè)功能可以在VR中渲染高質(zhì)量的虛擬Avatar，同時(shí)降低計(jì)算成本并在渲染期間實(shí)現(xiàn)高幀率。在創(chuàng)建動(dòng)態(tài)高斯Avatar時(shí)，研究人員已經(jīng)深入研究了可驅(qū)動(dòng)的3DGS的方法。Driveable 3D Gaussian Splplatting將高斯函數(shù)嵌入到相應(yīng)網(wǎng)格化身的表面，從而將高斯函數(shù)從世界坐標(biāo)系轉(zhuǎn)換到相應(yīng)網(wǎng)格三角形表面的局部坐標(biāo)系。這允許高斯屬性隨著網(wǎng)格模型的變化而變化，從而實(shí)現(xiàn)高斯屬性的動(dòng)態(tài)渲染。

由于其減少的數(shù)據(jù)存儲(chǔ)需求和引導(dǎo)Avatar執(zhí)行超出捕獲數(shù)據(jù)集的操作的能力，Driveable 3DGS廣泛應(yīng)用于動(dòng)態(tài)高斯Avatar。盡管大量的研究工作集中在實(shí)現(xiàn)動(dòng)態(tài)高斯Avatar，但很少注意平衡視覺(jué)質(zhì)量和計(jì)算成本。

增加生成中使用的高斯函數(shù)數(shù)量可以提高視覺(jué)質(zhì)量，但同時(shí)會(huì)增加計(jì)算成本。與虛擬Avatar的實(shí)時(shí)交互在VR中至關(guān)重要，強(qiáng)調(diào)了以最小的計(jì)算成本渲染Avatar以獲得更高的顯示幀率的必要性。

研究人員的動(dòng)機(jī)在于利用可管理的高斯數(shù)量來(lái)生成Avatar，并引入細(xì)節(jié)水平（LoD），以更好地利用GS所固有的高視覺(jué)質(zhì)量和低計(jì)算成本優(yōu)勢(shì)。

為了在高視覺(jué)質(zhì)量和最小化計(jì)算成本之間取得平衡，團(tuán)隊(duì)提出了LoDAvatar，它通過(guò)分層嵌入和選擇性細(xì)節(jié)增強(qiáng)方法生成具有不同LoD的高斯Avatar，如圖1所示。所述方法包括數(shù)據(jù)準(zhǔn)備、高斯嵌入、高斯優(yōu)化和選擇性細(xì)節(jié)增強(qiáng)四個(gè)階段。

在數(shù)據(jù)準(zhǔn)備階段，首先使用網(wǎng)格和相應(yīng)的紋理映射作為輸入來(lái)制作網(wǎng)格Avatar。為網(wǎng)格Avatar生成關(guān)鍵幀動(dòng)畫(huà)，并記錄關(guān)鍵幀的一系列多視圖圖像及其相應(yīng)的攝像頭參數(shù)。

隨后，高斯嵌入涉及到在網(wǎng)格頭像的每個(gè)三角形面建立一個(gè)局部坐標(biāo)系。在每個(gè)三角形的頂點(diǎn)和表面中心初始化高斯函數(shù)，并將其參數(shù)從世界坐標(biāo)系轉(zhuǎn)換為局部坐標(biāo)系。

在高斯嵌入之后，通過(guò)約束高斯函數(shù)在三角形頂點(diǎn)的位置并保持一定數(shù)量的高斯函數(shù)來(lái)進(jìn)行高斯優(yōu)化。優(yōu)化后，將原三角形中心的高斯函數(shù)重新定位，并與頂點(diǎn)的高斯函數(shù)位置相連，形成新的三角形。

在選擇性細(xì)節(jié)增強(qiáng)階段，利用圖像掩模識(shí)別需要細(xì)節(jié)增強(qiáng)的三角形。在相應(yīng)的三角形表面嵌入新的高斯函數(shù)，以實(shí)現(xiàn)選擇性細(xì)節(jié)增強(qiáng)。隨后的優(yōu)化過(guò)程保持固定的低細(xì)節(jié)高斯，同時(shí)在每次迭代中只精煉新引入的高斯，逐步增強(qiáng)Avatar的細(xì)節(jié)，并生成從低到高細(xì)節(jié)水平的高斯Avatar。

通過(guò)分層嵌入和選擇性細(xì)節(jié)增強(qiáng)技術(shù)生成的虛擬Avatar可以驅(qū)動(dòng)并用于虛擬現(xiàn)實(shí)中的交互，從而展示了卓越的視覺(jué)質(zhì)量和降低的計(jì)算成本

相關(guān)論文：LoDAvatar: Hierarchical Embedding and Adaptive Levels of Detail with Gaussian Splatting for Enhanced Human Avatars

總的來(lái)說(shuō)，團(tuán)隊(duì)介紹了一種利用分層嵌入和選擇性細(xì)節(jié)增強(qiáng)來(lái)生成具有不同LoD的高斯Avatar的方法——LoDAvatar。

所述方法以現(xiàn)有網(wǎng)格頭像為輸入，包括數(shù)據(jù)準(zhǔn)備、高斯嵌入、高斯優(yōu)化和選擇性細(xì)節(jié)增強(qiáng)。團(tuán)隊(duì)進(jìn)行了兩個(gè)實(shí)驗(yàn)來(lái)評(píng)估所提出的方法。實(shí)驗(yàn)1通過(guò)客觀(guān)評(píng)價(jià)和主觀(guān)評(píng)價(jià)兩方面對(duì)LoDAvatars的視覺(jué)質(zhì)量進(jìn)行了評(píng)價(jià)，結(jié)果表明層次嵌入和選擇性細(xì)節(jié)增強(qiáng)方法可以生成具有合適視覺(jué)質(zhì)量的LoDAvatars。

在實(shí)驗(yàn)2中，檢查了LoDAvatars在運(yùn)行時(shí)的平均幀率來(lái)分析計(jì)算成本，進(jìn)一步強(qiáng)調(diào)了在高斯Avatar中集成LoDAvatars的重要性。

LoDAvatar展示了減少渲染所需計(jì)算成本的潛力，而團(tuán)隊(duì)認(rèn)為層次嵌入和選擇性細(xì)節(jié)增強(qiáng)方法可以有效地用于動(dòng)態(tài)高斯Avatar的LoD生成，在視覺(jué)質(zhì)量和計(jì)算效率之間取得平衡。