PoseTalk 是基于文本和音頻的姿勢控制和運動細化方法的開源項目，用于一次性生成會說話的頭部視頻。從圖像、驅動音頻和驅動姿勢合成說話人臉視頻，為用戶提供高效、便捷的頭部動畫生成方式。PoseTalk 的核心在于基于文本提示和音頻線索，在姿勢潛在空間中生成運動潛在，實現自然、逼真的頭部運動效果。通過 Pose Latent Diffusion (PLD) 模型和級聯網絡 CoarseNet 與 RefineNet，實現高質量的唇部同步和頭部姿勢生成，適用于多種應用場景，如虛擬主播、在線教育和社交媒體。
PoseTalk的主要功能文本和音頻驅動的姿勢生成：PoseTalk 根據文本提示和音頻輸入生成頭部姿勢，反映頭部動作的長期語義和短期變化。姿勢潛在擴散模型（PLD）：PoseTalk 在姿勢潛在空間中生成運動潛在，實現自然、逼真的頭部運動。級聯網絡細化策略：基于 CoarseNet 和 RefineNet 兩個級聯網絡，先估計粗略的運動產生新姿勢的動畫圖像，然后細化唇部運動，提高唇部同步性能。高唇部同步質量：通過運動細化策略，PoseTalk 生成的頭部動畫與音頻高度同步，特別是在口型同步方面表現出色。多樣化的姿勢生成：用戶通過不同的文本提示來指導 PoseTalk 生成多種姿勢，增加生成動畫的多樣性和可定制性。PoseTalk的技術原理Pose Latent Diffusion (PLD) 模型：在神經參數頭部模型的表達空間中工作，捕捉到人頭的精細細節。PLD 模型通過文本和音頻信息轉化為頭部的姿勢和運動信息，為后續的動畫生成提供基礎。級聯網絡細化策略：PoseTalk 使用兩個級聯網絡 CoarseNet 和 RefineNet 來合成自然說話視頻。CoarseNet 負責估計粗略的運動，產生新姿勢的動畫圖像。RefineNet 通過從低到高分辨率逐步估計唇部運動，學習更精細的唇部運動，提高唇部同步性能 。音頻特征提取：PoseTalk 基于預先訓練的音頻編碼器（如Wave2Vec 2.0 模型）從輸入的音頻信號中提取特征。音頻特征與文本信息相結合，共同驅動頭部模型的運動，使生成的頭部動畫能夠與音頻完美同步，實現口型、表情等方面的高度契合 。訓練和推理：在訓練階段，PoseTalk 用變分自編碼器（VAE）學習頭部姿勢和眼動的低維潛在空間。在推理階段，PLD 預測自然的姿勢序列，使用視頻生成模型從音頻特征和生成的姿勢序列合成逼真的說話視頻 。PoseTalk的項目地址項目官網：posetalk.github.io/arXiv技術論文：https://arxiv.org/pdf/2409.02657PoseTalk的應用場景虛擬助手和數字人：PoseTalk 用于生成虛擬助手或數字人的逼真頭部動畫，提供更加自然和吸引人的交互體驗。電影和游戲制作：在娛樂產業中，PoseTalk 用于生成高質量的角色動畫，使角色的頭部動作和表情更加真實，提升觀眾的沉浸感。在線教育和培訓：在遠程教學環境中，PoseTalk 用于生成教師或講師的頭像，提供更加生動的教學體驗。社交媒體和內容創作：用戶基于 PoseTalk 生成個性化的動態頭像或表情包，增加社交媒體內容的趣味性和互動性。 
