手動編輯渲染的Avatar圖像

（中國AI網 2025年05月09日）使用3DGS從單目視頻創建高質量的3D Avatar有利于虛擬現實。然而，由于輸入視頻中的信息有限，現有的自動方法在新姿態下會出現偽影。針對這個問題，東京大學，天津大學和Adobe團隊提出了AvatarPerfect。

這個新穎的系統允許用戶手動編輯渲染的Avatar圖像，從而迭代地完善3DGS Aavatar。在每次迭代中，系統都會建議一個新的body和camera姿勢，以幫助用戶識別和糾正偽影。編輯后的圖像用于更新當前的Avatar，而系統繼續建議下一個body和camera姿勢，以進一步完善。

為了研究AvatarPerfect的有效性，團隊進行了一項用戶研究，將所提出方法與現有的3DGS編輯器SuperSplat進行了比較。結果表明，與現有的3DGS編輯器相比，系統可以幫助用戶獲得更高質量的精細3DGS Avatar。

逼真的、可動畫化的3D Avatar在AR/VR等應用中發揮著重要作用。由于NeRF和3DGS等方面的進展，Avatar的質量得到了顯著改善。

使用3DGS，用戶可以通過捕獲覆蓋單個body姿勢的RGB單目視頻來創建逼真的3DGS Avatar。由此產生的Avatar可以實時地以各種姿勢進行動畫和渲染。前所未有的質量和易用性使3DGS頭像即使對非專業用戶都具有吸引力和可訪問性。

然而，當將輸入視頻中未捕獲的新身體姿勢分配給3DGS Avatar時，我們通常會遇到兩種類型的偽影。第一種類型是浮動高斯，其中不自然的橢圓圍繞著身體浮動（圖2a中的紅框）。這種偽影的發生是因為，在輸入視頻中僅使用有限數量姿勢來獲得適當蒙皮權重來變形高斯函數是具有挑戰性的。

第二種類型的偽影是異常顏色高斯，由于輸入的單目視頻中樣本不足，它會在區域中產生陰影外觀或不一致的顏色（圖2b中的藍色框）。這種偽影的發生是因為輸入視頻通常包含被遮擋的部分，這使得準確估計隱藏區域的高斯分布的顏色具有挑戰性。因此，當為生成的3DGS角色分配新姿勢時，偽影出現在輸入視頻中的隱藏區域周圍。

盡管以前的算法嘗試消除相關偽影，但由于缺乏新姿態的參考信息，當應用新姿態時，偽影依然存在。相比之下，當在輸入視頻中不包含的新姿勢下呈現靜態Avatar時，人類依然可以快速識別偽影并使用簡單的3D選擇交互手動操縱偽影高斯。

然而，這種交互存在兩個主要問題。首先，對于沒有經驗的用戶來說，操作3D對象并不直觀。其次，由于3DGS的復雜渲染過程，操縱高斯函數的后果尚不清楚。具體來說，直接在3D空間中操作高斯函數會導致編輯區域周圍的外觀不太光滑。所以，對于用戶來說，確定適當的編輯視點以及編輯哪個高斯以減少偽影是具有挑戰性的。

為了解決這個問題，東京大學，天津大學和Adobe團隊提出了AvatarPerfect。這個交互式系統通過2D圖像編輯迭代地細化3DGS Avatar。在每次迭代中，AvatarPerfect都會建議一個新的body和camera姿勢對，并呈現一個帶有偽影的Avatar圖像供用戶改進。

用戶可以使用各種2D圖像編輯工具來刪除Avatar圖像中呈現的偽影：背景工具、油漆工具和油漆擴散工具。在用戶刪除建議的Avatar圖像中的偽影后，AvatarPerfect使用原始輸入視頻和用戶編輯的圖像更新3DGS頭像。

經過幾次迭代，生成的3DGS角色可以在新的姿態下使用減少的偽影進行動畫和渲染。他們首先測量輸入視頻和用戶細化的Avatar圖像中每個高斯的可見性。通過能見度測量，優化下一個body和camera姿勢，以顯示盡可能多的高斯分布。這種姿勢建議方法減輕了用戶識別姿勢與偽影的需要，并消除了復雜的3D操作的需要。

團隊進行了一項用戶研究，以比較AvatarPerfect與現有3DGS編輯器SuperSplat的有效性。結果表明，AvatarPerfect可以允許用戶提煉更多的偽影，生成更高質量的3DGS Avatar。團隊相信這個方法允許用戶有效地改進預訓練的3DGS化身，減少生成高質量3D Avatar所需的工作量，并增強VR體驗。

相關論文：AvatarPerfect: User-Assisted 3D Gaussian Splatting Avatar Refinement with Automatic Pose Suggestio

總的來說，AvatarPerfect是一個新穎的系統，可以幫助用戶改進由單目視頻生成的3DGS Avatar，解決由于輸入數據不足而導致的常見偽影。系統使用戶能夠通過2D圖像編輯來細化3DGS頭像上的工件，而不是直接在3D空間中編輯高斯圖像。

另外，系統建議body和camera姿勢，幫助用戶減少所需的圖像編輯數量。用戶研究結果表明，AvatarPerfect顯著提高了生成的3DGS虛擬形象的視覺質量，為更準確和用戶友好的3DGS Avatar創建技術鋪平了道路。