X-Portrait 2是字節跳動智能創作團隊推出的單圖視頻驅動技術，基于一張靜態照片和一段驅動視頻生成高質量、電影級視頻。X-Portrait 2保留原圖身份特征，準確捕捉細微表情和情緒，實現跨風格動作遷移，適用于寫實人像和卡通圖像。與Act-One相比，X-Portrait 2在快速頭部動作、細微表情變化和強烈個人情感的表現上更為真實。
X-Portrait 2的主要功能表情和情緒遷移：X-Portrait 2能將驅動視頻中的表情和情緒遷移到靜態肖像上，生成具有豐富表情的視頻內容。高保真度：在生成視頻中保持高保真度，確保表情和情緒的細微變化得到準確再現。跨風格和跨域遷移：模型支持將表情遷移到不同風格和領域的圖像上，包括寫實肖像和卡通圖像。實時視頻生成：實時生成視頻，減少傳統動作捕捉和角色動畫的復雜性。廣泛的應用場景：適用于真實世界敘事、角色動畫、虛擬代理和視覺效果等多種場景。X-Portrait 2的技術原理表情編碼器模型：X-Portrait 2構建一個表情編碼器模型，模型從輸入中隱式編碼每一個微小的表情變化，基于在大規模數據集上的訓練實現。生成式擴散模型：將表情編碼器與生成式擴散模型相結合，生成流暢且富有表現力的視頻。外觀與運動解耦：在訓練表情編碼器時，確保外觀和運動信息的強解耦，讓編碼器只關注驅動視頻中與表情相關的信息。跨風格和跨域表達轉移：模型實現跨風格和跨域的表情轉移，覆蓋寫實肖像和卡通圖像，提高模型的適應性和應用范圍。細節捕捉：捕捉、遷移包括快速頭部動作、細微表情變化和強烈個人情感在內的復雜表情和動作，對于高質量的動畫內容創作至關重要。X-Portrait 2的項目地址項目官網：byteaigc.github.io/X-Portrait2X-Portrait 2的應用場景電影和動畫制作：在電影和動畫產業中，X-Portrait 2生成或增強角色的表情和動作，減少傳統動作捕捉的需求，降低成本、提高效率。游戲開發：游戲開發者為游戲角色創建更加真實和動態的表情和動作，提升玩家的沉浸感。虛擬主播和虛擬偶像：在直播和娛樂領域，創建虛擬主播和虛擬偶像，讓表情和動作更加自然和生動。社交媒體和內容創作：內容創作者為視頻添加動態表情，提高內容的吸引力和互動性。教育和培訓：在教育領域，創建教育視頻，讓教學內容更加生動和易于理解。 
