DriveDreamer4D是用在提升自動(dòng)駕駛場景4D重建質(zhì)量的框架，基于世界模型先驗(yàn)增強(qiáng)4D駕駛場景的表示。框架能基于真實(shí)世界的駕駛數(shù)據(jù)合成新的軌跡視頻，用明確結(jié)構(gòu)化條件控制前景和背景元素的時(shí)空一致性，確保生成的數(shù)據(jù)嚴(yán)格遵守交通約束。DriveDreamer4D是首個(gè)基于視頻生成模型改善駕駛場景中4D重建的框架，提升復(fù)雜場景和新軌跡視點(diǎn)下的渲染質(zhì)量。
DriveDreamer4D的主要功能4D場景重建：DriveDreamer4D能重建復(fù)雜的動(dòng)態(tài)駕駛環(huán)境，提供4D（3D空間+時(shí)間）駕駛場景的詳細(xì)表示。新軌跡視頻合成：基于世界模型作為數(shù)據(jù)機(jī)器，基于真實(shí)世界駕駛數(shù)據(jù)合成新的軌跡視頻，增強(qiáng)訓(xùn)練數(shù)據(jù)集。時(shí)空一致性控制：通結(jié)構(gòu)化條件控制前景和背景元素的時(shí)空一致性，確保合成數(shù)據(jù)符合交通規(guī)則和動(dòng)態(tài)駕駛環(huán)境的復(fù)雜性。提升渲染質(zhì)量：在新軌跡視點(diǎn)下，提高渲染質(zhì)量，特別是在復(fù)雜操作如變道、加速和減速等場景下。增強(qiáng)數(shù)據(jù)多樣性：自動(dòng)生成具有復(fù)雜機(jī)動(dòng)操作的新軌跡視頻，增加數(shù)據(jù)多樣性，改善端到端自動(dòng)駕駛系統(tǒng)的評(píng)估。閉環(huán)仿真支持：為需要高保真重建動(dòng)態(tài)駕駛場景的閉環(huán)仿真提供基礎(chǔ)。DriveDreamer4D的技術(shù)原理世界模型集成：DriveDreamer4D整合自動(dòng)駕駛世界模型，用模型作為生成引擎合成新的軌跡視頻數(shù)據(jù)。新軌跡生成模塊（NTGM）：提出NTGM自動(dòng)生成多樣化的結(jié)構(gòu)化交通條件，讓DriveDreamer4D生產(chǎn)包含復(fù)雜機(jī)動(dòng)操作的新軌跡視頻。時(shí)空約束同步：基于車輛操作同步視圖投影，確保合成數(shù)據(jù)嚴(yán)格遵守4D駕駛場景的時(shí)空約束。4D高斯表示：用4D高斯表示（4DGS）模擬駕駛場景，每個(gè)高斯成分由中心位置、不透明度、協(xié)方差矩陣和視圖依賴的RGB顏色控制。可微分渲染：用可微分高斯繪制渲染器將4D高斯投影到相機(jī)坐標(biāo)系，計(jì)算每個(gè)像素的顏色。DriveDreamer4D的項(xiàng)目地址項(xiàng)目官網(wǎng)：drivedreamer4d.github.ioGitHub倉庫：https://github.com/GigaAI-research/DriveDreamer4DarXiv技術(shù)論文：https://arxiv.org/pdf/2410.13571DriveDreamer4D的應(yīng)用場景自動(dòng)駕駛系統(tǒng)開發(fā)：用在開發(fā)和測試自動(dòng)駕駛車輛的端到端規(guī)劃算法，基于模擬真實(shí)世界的復(fù)雜駕駛場景評(píng)估算法性能。閉環(huán)仿真測試：在閉環(huán)仿真環(huán)境中，模擬各種駕駛操作和交通情況，測試自動(dòng)駕駛車輛對(duì)不同情況的反應(yīng)和處理能力。數(shù)據(jù)集增強(qiáng)：用合成新的軌跡視頻來擴(kuò)充和豐富訓(xùn)練數(shù)據(jù)集，增強(qiáng)自動(dòng)駕駛系統(tǒng)對(duì)多樣化場景的適應(yīng)性和魯棒性。復(fù)雜機(jī)動(dòng)操作模擬：模擬變道、加速、減速等復(fù)雜駕駛操作，為自動(dòng)駕駛系統(tǒng)提供更全面的測試環(huán)境。傳感器數(shù)據(jù)模擬：模擬各種傳感器數(shù)據(jù)，如攝像頭、雷達(dá)和激光雷達(dá)數(shù)據(jù)，用在自動(dòng)駕駛系統(tǒng)的傳感器融合和處理。 
