CogVideoX v1.5是智譜最新開源的AI視頻生成模型。模型包含CogVideoX v1.5-5B和CogVideoX v1.5-5B-I2V兩個版本，5B 系列模型支持生成5至10秒、768P分辨率、16幀的視頻，I2V模型能處理任意尺寸比例的圖像到視頻的轉換，結合即將開放內測的CogSound音效模型能自動生成匹配的AI音效。模型在圖生視頻質量、美學表現、運動合理性及復雜語義理解方面有顯著提升。智譜AI已將CogVideoX v1.5開源，可通過GitHub訪問其代碼。
CogVideoX v1.5的主要功能高清視頻生成：支持生成10秒、4K分辨率、60幀的超高清視頻，提供高質量的視覺體驗。任意尺寸比例：I2V（Image-to-Video）模型支持任意尺寸比例的視頻生成，適應不同的播放場景。視頻生成能力：CogVideoX v1.5-5B專注于文本描述生成視頻（Text-to-Video），能根據用戶提供的文本提示生成相應的視頻內容。多通道輸出：同一指令或圖片可以一次性生成多個視頻，增加了創作的靈活性。帶聲效的AI視頻：結合CogSound音效模型，能生成與畫面匹配的音效，提升視頻的整體感觀效果。圖生視頻質量提升：在圖生視頻的質量、美學表現、運動合理性以及復雜提示詞語義理解方面能力顯著增強。CogVideoX v1.5的技術原理數據篩選與增強：自動化篩選框架：開發自動化篩選框架過濾缺乏動態連通性的視頻數據，提高訓練數據的質量。端到端視頻理解模型：用CogVLM2-caption模型生成精準的視頻內容描述，提升文本理解和指令遵循能力。三維變分自編碼器（3D VAE）：視頻數據壓縮：基于3D VAE將視頻數據壓縮至原來的2%，降低訓練成本和難度。時間因果卷積：采用時間因果卷積的上下文并行處理機制，增強模型的分辨率遷移能力和時間維度上的序列獨立性。Transformer架構：三維度融合：自主研發的架構融合文本、時間和空間三維度，取消傳統的跨注意力模塊，加強文本和視頻模態的交互。3D全注意力機制：基于3D全注意力機制，減少視覺信息的隱式傳遞，降低建模復雜度。3D旋轉位置編碼（3D RoPE）：基于3D RoPE提高模型在時間維度上捕捉幀間關系的能力，建立視頻中的長期依賴關系。擴散模型訓練框架：快速訓練：構建高效的擴散模型訓練框架，用并行計算和時間優化技術，實現對長視頻序列的快速訓練。任意分辨率視頻生成：借鑒NaViT方法，模型能處理不同分辨率和時長的視頻，無需裁剪，避免裁剪帶來的偏差。CogVideoX v1.5的項目地址GitHub倉庫：https://github.com/THUDM/CogVideoHuggingFace模型庫：https://huggingface.co/THUDM/CogVideoX1.5-5B-SAT（CogVideoX1.5-5B）CogVideoX v1.5的應用場景內容創作：生成個性化的短視頻內容，用于社交媒體平臺，在電影和視頻制作中，生成特效場景或預覽視頻。廣告和營銷：根據產品特性快速生成吸引人的視頻廣告，提高廣告的吸引力和轉化率。為不同用戶群體定制視頻內容，實現精準營銷。教育和培訓：生成教育視頻，幫助學生更好地理解復雜的概念和理論。游戲和娛樂：為游戲生成動態背景視頻或劇情動畫，提升游戲體驗。 
