I2VEdit是一個先進的視頻編輯框架，通過圖像到視頻的擴散模型實現首幀引導的視頻編輯。用戶只需編輯視頻的第一幀，I2VEdit能自動將編輯效果應用到整個視頻。I2VEdit由南洋理工大學、商湯科技研究院和上海人工智能實驗室共同推出，能保持視頻的時間和運動一致性，同時提供高質量的編輯結果。I2VEdit適合進行局部和全局編輯任務，如更換服裝、添加配飾或風格轉換，簡化視頻編輯過程。
I2VEdit的主要功能首幀編輯引導：用戶編輯視頻的第一幀，I2VEdit將編輯自動擴展到整個視頻。運動一致性：保持編輯后視頻與原視頻的運動連貫性。靈活編輯：支持局部編輯（如更換對象）和全局編輯（如風格轉換）。高質量輸出：生成與第一幀編輯一致且時間上連貫的高質量視頻。I2VEdit的技術原理粗運動提取：基于訓練運動LoRA（低秩適應）模型學習視頻中的粗略運動模式。外觀細化：用細粒度的注意力匹配算法進行精確的外觀調整。平滑區域隨機擾動（SARP）：對視頻中的平滑區域添加隨機擾動，改善從圖像到視頻的轉換質量。間隔跳過策略：在處理長視頻時，采用間隔跳過策略以減少自回歸生成過程中的質量下降。擴散模型：基于預訓練的圖像到視頻擴散模型，將編輯從第一幀傳播到整個視頻。I2VEdit的項目地址項目官網：i2vedit.github.ioarXiv技術論文：https://arxiv.org/pdf/2405.16537I2VEdit的應用場景社交媒體內容創作：內容創作者快速更改視頻中的元素，如服飾、背景，匹配特定的主題或品牌。視頻后期制作：電影和視頻制作人員用I2VEdit快速進行風格轉換或場景更改，提高后期制作的效率。虛擬試穿：在時尚和零售領域，顧客觀看模特穿著不同服飾的視頻，商家快速生成多個試穿效果。主題替換：在教育和培訓視頻中，輕松替換演示的主角或背景，適應不同的教學場景。風格轉換：藝術家和設計師探索不同的視覺風格，如將現實視頻轉換成卡通風格，而無需手動重繪每一幀。特效制作：在視頻制作中，I2VEdit快速應用特效，如改變視頻中物體的顏色或添加特殊效果。 
