CAT4D是Google DeepMind、哥倫比亞大學和加州大學圣地亞哥分校共同推出的，能從單目視頻創建4D場景（動態3D）表示。CAT4D基于多視圖視頻擴散模型，能在任意指定的相機姿態和時間點合成新視圖，并將單目視頻轉換為多視圖視頻，實現穩健的4D重建。CAT4D能從真實視頻中生成4D場景，從生成的視頻中創建4D內容，為電影制作、游戲開發、虛擬現實等領域帶來創新應用的可能。
CAT4D的主要功能4D場景創建：從單目視頻（無論是真實拍攝還是計算機生成）創建出4D（動態3D）場景。多視圖視頻生成：給定一個單目視頻輸入，生成在新視點的多視圖視頻。動態3D場景重建：用生成的多視圖視頻，重建出動態變化的3D場景，這些場景能表示為隨時間變形的3D高斯模型。分離相機和時間控制：CAT4D的核心是一個多視圖視頻擴散模型，能分離相機視點控制和場景動態控制，支持用戶獨立操作相機視角和場景中的時間變化。實時渲染：基于交互式查看器，支持用戶在瀏覽器中實時渲染4D場景，提供一種直觀的體驗方式。CAT4D的技術原理多視圖視頻擴散模型：基于多視圖視頻擴散模型，模型接受一組輸入視圖（包括圖像、相機參數和時間信息），并生成在指定視點和時間的目標幀。數據集訓練：由于動態場景的多視圖訓練數據稀缺，CAT4D的訓練涉及真實和合成數據源的混合，包括靜態場景的多視圖圖像、固定視點視頻、合成4D數據等。新視角合成：模型根據輸入的單目視頻，在新的時間點和視點合成場景的外觀，實現從單目輸入到多視圖輸出的轉換。優化可變形3D高斯表示：生成的多視圖視頻用在基于優化一個可變形的3D高斯表示重建動態3D模型，這種表示方法能捕捉場景的動態變化。分離控制：CAT4D能獨立控制相機運動和場景動態，使從給定的輸入圖像生成不同時間和視點的輸出序列成為可能。交替采樣策略：為生成足夠一致的多視圖視頻進行準確的4D重建，CAT4D基于一種交替采樣策略，該策略在多視圖采樣和時間采樣之間交替進行，確保視頻在時間和視點上的一致性。CAT4D的項目地址項目官網：cat-4d.github.ioarXiv技術論文：https://arxiv.org/pdf/2411.18613CAT4D的應用場景電影和視頻制作：在電影和視頻制作中，基于從現有的2D視頻創建3D場景，增加視覺特效，或生成新的視角和場景動態。游戲開發：在游戲開發中，生成更加真實和動態的游戲環境，提供更加豐富的玩家體驗。虛擬現實（VR）和增強現實（AR）：創建逼真的3D環境和對象，用在虛擬現實和增強現實應用，提升用戶的沉浸感。3D建模和設計：設計師從現有的視頻資料中提取和重建3D模型，加速產品設計和原型制作。教育和培訓：在教育領域，創建歷史事件或科學現象的動態3D重現，提供更加直觀的學習體驗。 
