Make-It-Animatable是什么

Make-It-Animatable是中國科學(xué)技術(shù)大學(xué)和Tencent PCG推出的數(shù)據(jù)驅(qū)動(dòng)框架,能在不到一秒鐘內(nèi)讓任何3D人形模型準(zhǔn)備好進(jìn)行角色動(dòng)畫狀態(tài),無論其形狀和姿勢如何。框架基于生成高質(zhì)量的混合權(quán)重、骨骼和姿勢變換,支持多種3D表示,包括網(wǎng)格和3D高斯斑點(diǎn)。基于從粗到細(xì)的表示和結(jié)構(gòu)感知建模策略,確保準(zhǔn)確性和魯棒性,甚至適于具有非標(biāo)準(zhǔn)骨架結(jié)構(gòu)的角色。與現(xiàn)有方法相比,Make-It-Animatable在質(zhì)量和速度上都有顯著提升。

Make-It-Animatable  中科大聯(lián)合騰訊推出的自動(dòng)生成即時(shí)動(dòng)畫準(zhǔn)備資產(chǎn) 第1張Make-It-Animatable的主要功能即時(shí)動(dòng)畫準(zhǔn)備:快速將任何3D人形模型轉(zhuǎn)變?yōu)榭捎糜趧?dòng)畫的狀態(tài),無論其形狀和姿勢。自動(dòng)生成動(dòng)畫資產(chǎn):自動(dòng)生成高質(zhì)量的骨骼、混合權(quán)重和姿勢變換,為動(dòng)畫制作提供必要的數(shù)據(jù)。支持多種3D數(shù)據(jù)格式:支持包括3D網(wǎng)格和3D高斯斑點(diǎn)在內(nèi)的多種3D數(shù)據(jù)表示。精細(xì)到粗糙的多級(jí)表示:采用從精細(xì)到粗糙的多級(jí)表示方法,提高模型關(guān)鍵區(qū)域的細(xì)節(jié)捕捉能力。結(jié)構(gòu)感知建模:識(shí)別并適應(yīng)非標(biāo)準(zhǔn)骨架結(jié)構(gòu),提高模型的適應(yīng)性和準(zhǔn)確性。Make-It-Animatable的技術(shù)原理基于粒子的形狀自編碼器:基于粒子的自編碼器技術(shù)編碼和解碼3D形狀,能支持多種3D表示。從粗到細(xì)的表示策略:先進(jìn)行粗略的形狀和關(guān)節(jié)位置預(yù)測,然后細(xì)化預(yù)測提高精確度。結(jié)構(gòu)感知的骨骼建模:基于考慮骨骼的拓?fù)浣Y(jié)構(gòu),提高骨骼預(yù)測的準(zhǔn)確性,尤其是在復(fù)雜的骨骼結(jié)構(gòu)中。混合權(quán)重和骨骼位置預(yù)測:用深度學(xué)習(xí)技術(shù)預(yù)測每個(gè)頂點(diǎn)的混合權(quán)重和骨骼位置,實(shí)現(xiàn)精確的蒙皮。姿勢變換的預(yù)測:預(yù)測模型從當(dāng)前姿勢到標(biāo)準(zhǔn)休息姿勢的變換,以便應(yīng)用各種動(dòng)畫。Make-It-Animatable的項(xiàng)目地址項(xiàng)目官網(wǎng):jasongzy.github.io/Make-It-AnimatableGitHub倉庫:https://github.com/jasongzy/Make-It-AnimatablearXiv技術(shù)論文:https://arxiv.org/pdf/2411.18197在線體驗(yàn)Demo:https://make-it-animatable.jasongzy.com/Make-It-Animatable的應(yīng)用場景視頻游戲開發(fā):快速生成游戲角色的動(dòng)畫,減少手動(dòng)調(diào)整骨骼和蒙皮的工作量,提高游戲開發(fā)的效率。電影和電視制作:用在電影和電視劇中的CG角色動(dòng)畫制作,提高動(dòng)畫的逼真度和制作速度。虛擬現(xiàn)實(shí)(VR)和增強(qiáng)現(xiàn)實(shí)(AR):在VR和AR應(yīng)用中,快速生成逼真的3D角色,提升用戶體驗(yàn)。動(dòng)畫電影和系列:動(dòng)畫制作公司快速制作出高質(zhì)量的動(dòng)畫序列,節(jié)省時(shí)間和成本。模擬和訓(xùn)練軟件:用在軍事或醫(yī)療模擬軟件,快速生成逼真的角色動(dòng)作,用于模擬訓(xùn)練。