LVCD（Large Video Color Diffusion）是一個(gè)專為動(dòng)畫視頻線稿上色設(shè)計(jì)的視頻擴(kuò)散框架，能將黑白線稿自動(dòng)轉(zhuǎn)化為彩色動(dòng)畫視頻。LVCD使用了一種先進(jìn)的擴(kuò)散模型，可以同時(shí)處理整個(gè)視頻序列，保證每一幀的顏色連貫，在角色快速移動(dòng)時(shí)，也能保持顏色一致。LVCD提出了參考注意力機(jī)制，能有效地將參考幀的色彩轉(zhuǎn)移到其他幀，在快速和大范圍運(yùn)動(dòng)的場(chǎng)景中。LVCD支持生成長時(shí)間的視頻，不受原始模型固定長度的限制，通過分段采樣機(jī)制和重疊混合模塊，能生成超過原有模型限制的長序列動(dòng)畫。
LVCD的主要功能自動(dòng)上色：能將黑白線稿自動(dòng)轉(zhuǎn)化為彩色動(dòng)畫視頻，提高了動(dòng)畫制作的效率。長視頻生成：支持生成長時(shí)間的視頻，不受固定長度的限制，適合制作復(fù)雜的動(dòng)畫序列。大動(dòng)作場(chǎng)景處理：擅長處理包含大幅度運(yùn)動(dòng)的動(dòng)畫場(chǎng)景，確保顏色一致性，避免色彩錯(cuò)位。Sketch-guided ControlNet：引入草圖引導(dǎo)的控制網(wǎng)絡(luò)，提供額外的控制，確保生成的視頻與線稿的布局和結(jié)構(gòu)相符。Reference Attention機(jī)制：促進(jìn)顏色從參考幀傳遞到其他幀，在快速運(yùn)動(dòng)場(chǎng)景中，保持色彩的一致性。順序采樣機(jī)制：結(jié)合重疊混合模塊和前參考注意力，擴(kuò)展視頻生成能力，確保長時(shí)間序列的時(shí)間一致性。LVCD的技術(shù)原理視頻擴(kuò)散框架：LVCD使用預(yù)訓(xùn)練的視頻擴(kuò)散模型，能生成具有時(shí)間一致性的高質(zhì)量動(dòng)畫視頻。通過逐步去噪的方式，從噪聲數(shù)據(jù)中恢復(fù)出清晰的視頻幀。Sketch-guided ControlNet：一種擴(kuò)展的控制網(wǎng)絡(luò)，支持模型接收線稿作為額外的輸入條件。網(wǎng)絡(luò)通過編碼線稿信息，與視頻生成模型結(jié)合起來，確保生成的視頻內(nèi)容與線稿的結(jié)構(gòu)和布局相匹配。Reference Attention：一種注意力機(jī)制，支持模型在生成過程中參考特定的幀（參考幀），將顏色和其他視覺特征傳遞到其他幀中。對(duì)于保持視頻中快速運(yùn)動(dòng)場(chǎng)景的顏色一致性至關(guān)重要。順序采樣方案：為了生成長視頻，LVCD采用了一種新穎的順序采樣方案。包括重疊混合模塊（Overlapped Blending Module）和前參考注意力（Prev-Reference Attention），它們共同作用，使模型能生成超出原始固定長度限制的長視頻，同時(shí)保持時(shí)間上的連貫性。時(shí)間一致性：LVCD通過特殊的設(shè)計(jì)來保證視頻序列中幀與幀之間的時(shí)間一致性，對(duì)于動(dòng)畫視頻的流暢觀看體驗(yàn)至關(guān)重要。LVCD的項(xiàng)目地址項(xiàng)目官網(wǎng)：luckyhzt.github.io/lvcdarXiv技術(shù)論文：https://arxiv.org/pdf/2409.12960演示鏈接：https://luckyhzt.github.io/lvcd/supplementary/supplementary.htmlLVCD的應(yīng)用場(chǎng)景動(dòng)漫制作：LVCD可以自動(dòng)為動(dòng)漫線稿上色，提高動(dòng)畫制作的效率，減少人工上色的時(shí)間和成本。游戲開發(fā)：在游戲開發(fā)中，LVCD可以用于快速生成游戲角色和場(chǎng)景的彩色動(dòng)畫，幫助開發(fā)者更快地實(shí)現(xiàn)視覺效果。影視行業(yè)：LVCD能為影視動(dòng)畫項(xiàng)目提供高質(zhì)量的線稿上色解決方案，適用于動(dòng)畫電影、短片和系列劇的制作。教育與培訓(xùn)：在動(dòng)畫制作課程中，LVCD可以作為教學(xué)工具，幫助學(xué)生理解線稿到動(dòng)畫的轉(zhuǎn)換過程，提高他們的創(chuàng)作能力。藝術(shù)創(chuàng)作：藝術(shù)家可以用LVCD將自己的手繪線稿快速轉(zhuǎn)化為彩色作品，激發(fā)創(chuàng)作靈感并節(jié)省時(shí)間。 
