AnchorCrafter是基于擴(kuò)散模型的智能視頻制作系統(tǒng)，用在自動(dòng)生成具有高保真度的主播風(fēng)格產(chǎn)品推廣視頻。基于整合人-物交互（HOI）到姿態(tài)引導(dǎo)的人體視頻生成中，實(shí)現(xiàn)對(duì)物體外觀和運(yùn)動(dòng)控制的高度還原，及對(duì)復(fù)雜人物-物體交互的管理。系統(tǒng)采用HOI-appearance perception和HOI-motion injection技術(shù)，及HOI-region reweighting loss訓(xùn)練目標(biāo)，增強(qiáng)物體細(xì)節(jié)的學(xué)習(xí)，確保視頻生成過程中人物外觀和動(dòng)作的一致性。AnchorCrafter在物體外觀保持、交互感知以及視頻質(zhì)量方面優(yōu)于現(xiàn)有方法，為在線廣告和消費(fèi)者參與提供了新的可能性。
AnchorCrafter的主要功能高質(zhì)量視頻生成：自動(dòng)創(chuàng)建高保真度的主播風(fēng)格產(chǎn)品推廣視頻。人-物交互（HOI）集成：將人物與物體的交互自然地融入視頻中，提升視頻的真實(shí)感和互動(dòng)性。外觀保持：在視頻中保持物體的外觀細(xì)節(jié)，確保從多視角觀察時(shí)物體的外觀準(zhǔn)確無誤。運(yùn)動(dòng)控制：精確控制物體的運(yùn)動(dòng)軌跡，與人物動(dòng)作協(xié)調(diào)一致。互遮擋管理：處理人物與物體交互時(shí)的遮擋問題，保持視頻的連貫性和自然性。細(xì)節(jié)增強(qiáng)學(xué)習(xí)：基于HOI-region reweighting loss在訓(xùn)練過程中增強(qiáng)對(duì)物體細(xì)節(jié)的學(xué)習(xí)。AnchorCrafter的技術(shù)原理視頻擴(kuò)散模型：基于擴(kuò)散模型架構(gòu)，用擴(kuò)散UNet和變分自編碼器（VAE）處理視頻幀，將視頻序列編碼到潛在空間，從噪聲中重建高質(zhì)量的視頻幀。HOI-外觀感知（HOI-appearance perception）：多視角特征融合：用多視角物體參考圖像來提取物體的外觀特征，增強(qiáng)模型對(duì)物體形狀和紋理的識(shí)別能力。人-物雙適配器：基于替換UNet中的交叉注意力層，實(shí)現(xiàn)人物和物體特征的更好分離，避免外觀糾纏。HOI-運(yùn)動(dòng)注入（HOI-motion injection）：物體軌跡控制：用深度圖作為輸入，基于輕量級(jí)卷積網(wǎng)絡(luò)處理深度信息，控制視頻中物體的運(yùn)動(dòng)軌跡。互遮擋處理：結(jié)合3D手部網(wǎng)格輸入，處理人物手部與物體交互時(shí)的遮擋問題，確保交互的自然性和準(zhǔn)確性。HOI區(qū)域重加權(quán)損失（HOI-region reweighting loss）：在訓(xùn)練過程中，增加手部-物體交互區(qū)域的權(quán)重，讓模型更加關(guān)注這些區(qū)域，提高物體細(xì)節(jié)的學(xué)習(xí)和生成質(zhì)量。AnchorCrafter的項(xiàng)目地址項(xiàng)目官網(wǎng)：cangcz.github.io/Anchor-CrafterGitHub倉庫：https://github.com/cangcz/AnchorCrafter（即將開放）arXiv技術(shù)論文：https://arxiv.org/pdf/2411.17383AnchorCrafter的應(yīng)用場(chǎng)景在線購(gòu)物平臺(tái)：自動(dòng)生成產(chǎn)品介紹視頻，提升商品頁面的吸引力和用戶購(gòu)買意愿。社交媒體營(yíng)銷：為品牌和個(gè)人創(chuàng)作者提供工具，制作吸引人的產(chǎn)品推廣內(nèi)容，增加粉絲互動(dòng)和品牌曝光。電視廣告制作：快速制作高質(zhì)量的電視廣告，減少傳統(tǒng)拍攝成本和時(shí)間。虛擬直播帶貨：在直播中使用虛擬主播展示和推廣產(chǎn)品，提高直播效率和觀眾體驗(yàn)。教育培訓(xùn)：制作教學(xué)視頻，模擬實(shí)際操作過程，如烹飪、手工制作等，增強(qiáng)學(xué)習(xí)效果。 
