MotionCLR是基于注意力機制的人體動作生成和編輯模型，能根據文本提示生成動作，支持用戶進行交互式編輯，如動作強調、減弱、替換、擦除和風格轉移。MotionCLR基于自注意力和交叉注意力機制理解和編輯動作，支持多樣化的動作編輯任務，如動作強調/減弱、原地動作替換、基于示例的動作生成等。模型在HumanML3D數據集上表現良好，生成的動作質量高，與文本描述的對齊精確，在多樣性、可解釋性和編輯能力方面均達到先進水平。
MotionCLR的主要功能文本驅動的動作生成：?根據用戶提供的文本描述生成相應的動作序列。動作強調與減弱： 調整文本中動作關鍵詞的權重增強或減弱生成的動作。原地動作替換：?支持用戶在保持其他動作不變的情況下，替換特定動作。基于示例的動作生成：?生成與給定示例動作相似的新動作序列。動作風格轉移：?將一種動作的風格應用到另一種動作上，生成具有新風格特征的動作序列。動作序列編輯：?支持對動作序列進行更復雜的編輯，如調整動作順序、改變動作持續時間等。MotionCLR的技術原理自注意力機制： 捕捉動作序列內部各幀之間的時序關系，確保動作的連貫性和自然性。交叉注意力機制： 建立文本描述與動作序列之間的細粒度對應關系，讓生成的動作精確地反映文本的內容。擴散模型： 用擴散模型逐步改進生成的動作，讓模型更加精細和逼真。訓練自由的編輯： 模型支持在不重新訓練的情況下進行動作編輯，提高編輯的便捷性和實用性。注意力圖操作：基于直接操作注意力圖來實現動作編輯，如調整注意力權重改變動作的強調或減弱。MotionCLR的項目地址項目官網：lhchen.top/MotionCLRGitHub倉庫：https://github.com/IDEA-Research/MotionCLRarXiv技術論文：https://arxiv.org/pdf/2410.18977在線體驗Demo：https://huggingface.co/spaces/EvanTHU/MotionCLRMotionCLR的應用場景游戲開發： 生成游戲角色動畫，提供自然和多樣化的角色動作。動畫制作： 輔助動畫師快速生成或修改角色動作，提高動畫制作效率。虛擬現實（VR）和增強現實（AR）： 生成逼真的用戶動作，用在VR/AR互動體驗。電影和電視制作： 用在預可視化動作場景或為后期制作提供動作參考。人機交互： 在需要人體動作作為輸入的交互系統中，如動作捕捉和游戲控制。 
