在數(shù)字化時(shí)代，個(gè)性化的虛擬形象越來(lái)越受到關(guān)注。最近，來(lái)自香港大學(xué)及其他機(jī)構(gòu)的研究團(tuán)隊(duì)推出了一個(gè)名為 DreamWaltz-G 的創(chuàng)新框架，這個(gè)框架能夠根據(jù)文本描述生成生動(dòng)的3D 可動(dòng)畫(huà)頭像，極大地拓展了數(shù)字內(nèi)容創(chuàng)作的可能性。

DreamWaltz-G 的核心技術(shù)包括 “骨骼引導(dǎo)的得分蒸餾” 和 “混合3D 高斯頭像表示”。通過(guò)將3D 人類(lèi)模板的骨骼控制與2D 擴(kuò)散模型相結(jié)合，研究人員能夠提升生成頭像的一致性，尤其是在視角和人類(lèi)姿態(tài)方面。這種方法有效減少了在生成過(guò)程中常見(jiàn)的問(wèn)題，比如頭像模糊、額外肢體或面部畸變等。

該框架所采用的混合3D 高斯頭像表示，通過(guò)結(jié)合神經(jīng)隱式場(chǎng)和參數(shù)化3D 網(wǎng)格，使得實(shí)時(shí)渲染和穩(wěn)定的得分蒸餾優(yōu)化成為可能。這樣的設(shè)計(jì)不僅提升了頭像的視覺(jué)質(zhì)量，也增強(qiáng)了動(dòng)畫(huà)的表現(xiàn)力。

通過(guò)一系列實(shí)驗(yàn)，DreamWaltz-G 在生成和動(dòng)畫(huà)3D 頭像方面表現(xiàn)出了卓越的效果，超越了現(xiàn)有的方法。無(wú)論是用于人類(lèi)視頻重演，還是多主體場(chǎng)景的構(gòu)建，這一框架都展現(xiàn)出了廣泛的應(yīng)用前景。

在實(shí)際應(yīng)用方面，DreamWaltz-G 可以實(shí)現(xiàn)形狀控制和編輯。用戶(hù)可以在訓(xùn)練過(guò)程中修改 SMPL-X 模板，或在推理階段通過(guò)調(diào)整3D 高斯的方式進(jìn)行形狀編輯。同時(shí)，該方法還支持通過(guò)3D 人體姿態(tài)估計(jì)和視頻修復(fù)技術(shù)，輕松將生成的3D 頭像與2D 視頻結(jié)合，實(shí)現(xiàn)自然的重演效果。

無(wú)論是創(chuàng)建個(gè)性化的數(shù)字形象，還是在虛擬環(huán)境中進(jìn)行復(fù)雜的動(dòng)畫(huà)表現(xiàn)，DreamWaltz-G 都為用戶(hù)提供了前所未有的便利，開(kāi)啟了一個(gè)全新的數(shù)字創(chuàng)作時(shí)代。

劃重點(diǎn):

1. ?? DreamWaltz-G 是一個(gè)創(chuàng)新框架，能夠根據(jù)文本描述生成生動(dòng)的3D 可動(dòng)畫(huà)頭像。

2. ?? 該框架結(jié)合了骨骼引導(dǎo)的得分蒸餾和混合3D 高斯表示，提升了頭像生成的一致性和動(dòng)畫(huà)表現(xiàn)力。

3. ?? DreamWaltz-G 支持形狀控制、視頻重演和多主體場(chǎng)景構(gòu)建，拓展了數(shù)字內(nèi)容創(chuàng)作的可能性。