在視頻創(chuàng)作領(lǐng)域,如何實(shí)現(xiàn)一致且可控的動畫效果一直是研究者們關(guān)注的重點(diǎn)。近日,研究團(tuán)隊(duì)推出了名為 “AnimateAnything” 的新方法,旨在通過精準(zhǔn)的視頻操作,使動畫創(chuàng)作更加靈活和高效。該技術(shù)可以在不同的條件下,如攝像機(jī)軌跡、文本提示和用戶動作注釋等,進(jìn)行精確的視頻處理。

“AnimateAnything” 通過設(shè)計(jì)一種多尺度控制特征融合網(wǎng)絡(luò),構(gòu)建了一個(gè)統(tǒng)一的運(yùn)動表示。這一網(wǎng)絡(luò)能夠?qū)⑺锌刂菩畔⑥D(zhuǎn)化為逐幀的光流,從而指導(dǎo)視頻的生成。在這個(gè)過程中,光流作為運(yùn)動先驗(yàn),幫助提升動畫的一致性和穩(wěn)定性。

為了解決大規(guī)模運(yùn)動帶來的閃爍問題,研究團(tuán)隊(duì)還引入了一種基于頻率的穩(wěn)定模塊。這個(gè)模塊通過確保視頻頻域的一致性,增強(qiáng)了視頻的時(shí)間連貫性,使得動畫效果更加自然。

在一系列實(shí)驗(yàn)中,“AnimateAnything” 展現(xiàn)出優(yōu)于現(xiàn)有技術(shù)的卓越性能。例如,在人臉動畫的生成中,該方法能夠?qū)崿F(xiàn)更高的真實(shí)感和細(xì)膩度。此外,在與其他技術(shù)如 CameraCtrl 和 MotionCtrl 的對比中,AnimateAnything 均表現(xiàn)出色,展示了其在多種應(yīng)用場景下的適用性和靈活性。

該技術(shù)的推出,標(biāo)志著視頻生成技術(shù)向前邁出了重要一步。未來,隨著該方法的不斷優(yōu)化和推廣,預(yù)計(jì)將為更多創(chuàng)作者提供強(qiáng)大的支持,推動視頻內(nèi)容創(chuàng)作的創(chuàng)新和發(fā)展。

劃重點(diǎn):

???♂? AnimateAnything 通過多尺度控制特征融合網(wǎng)絡(luò),實(shí)現(xiàn)了精準(zhǔn)的動畫效果生成。

?? 該技術(shù)能夠在不同條件下(如攝像機(jī)軌跡和用戶動作)進(jìn)行視頻處理,提升了一致性。

?? 引入的頻率穩(wěn)定模塊解決了大規(guī)模運(yùn)動帶來的閃爍問題,增強(qiáng)了動畫的自然度。