Fashion-VDM是谷歌和華盛頓大學共同推出的基于視頻擴散模型（VDM）的虛擬試穿技術。能在給定服裝圖像和人物視頻的情況下，生成人物穿著指定服裝的高質量試穿視頻，保留人物的身份和動作。Fashion-VDM基于擴散模型架構、分割分類器自由引導和漸進式時間訓練策略，解決視頻虛擬試穿中服裝細節和時間一致性的問題，在視頻數據有限時，基于聯合圖像-視頻訓練提高服裝保真度，達到視頻虛擬試穿領域的新高度。
Fashion-VDM的主要功能生成虛擬試穿視頻：Fashion-VDM將給定的服裝圖像和人物視頻結合起來，生成人物穿著該服裝的視頻，保留人物的原始身份和動作。保持服裝細節和時間一致性：解決現有視頻虛擬試穿方法中服裝細節缺失和時間一致性不足的問題。提高服裝保真度：基于分割分類器自由引導（Split Classifier-Free Guidance）技術，增強對服裝圖像細節的控制和保真度。優化視頻生成效率：用漸進式時間訓練策略，實現單次通過64幀的512px視頻生成，提高視頻生成的效率和質量。聯合圖像-視頻訓練：在訓練過程中結合圖像和視頻數據，特別是在視頻數據有限的情況下，提高模型的性能。Fashion-VDM的技術原理擴散模型架構：Fashion-VDM基于擴散模型，逐步從噪聲中恢復出清晰的圖像或視頻。3D卷積和時間注意力塊：在主UNet網絡中加入3D卷積和時間注意力塊，維持視頻幀之間的時間一致性。分割分類器自由引導（Split Classifier-Free Guidance）：一種對多個條件信號進行獨立控制的技術，支持模型更精確地控制生成結果，提高服裝保真度和視頻幀之間的一致性。漸進式時間訓練：模型通過多個階段的訓練，逐步增加視頻幀長度，從圖像數據開始，逐步引入更長的視頻幀進行訓練，直到達到64幀的目標。聯合圖像-視頻訓練：在訓練過程中，用圖像和視頻數據，基于條件網絡分支技術，在圖像批次訓練時跳過對時間塊的更新，提高數據多樣性和訓練穩定性。預處理和編碼：輸入的視頻和服裝圖像經過預處理，分別提取人物姿態、服裝無關幀、服裝分割和服裝姿態等信息，分別用不同的UNet編碼器進行編碼。Fashion-VDM的項目地址項目官網：johannakarras.github.io/Fashion-VDMarXiv技術論文：https://arxiv.org/pdf/2411.00225Fashion-VDM的應用場景在線服裝購物：消費者在購買前用虛擬試穿功能更直觀地看到服裝的穿著效果，減少因尺碼、款式不合適導致的退換貨問題。時尚設計與營銷：服裝設計師和品牌展示服裝作品，提前預測市場反應，降低設計和營銷成本。電商平臺：電商平臺可以集成Fashion-VDM技術，提升線上購物的互動性和趣味性，增加消費者的購買意愿。虛擬時尚秀：在虛擬時尚秀中展示服裝，提供更加精彩和真實的展示效果。社交媒體營銷：品牌和影響者可以在社交媒體，創建吸引人的內容，提高用戶參與度和品牌曝光。 
