WonderWorld是斯坦福大學和麻省理工學院共同推出的創新性3D場景生成框架，能從單張圖片快速生成多樣化且連貫的3D虛擬世界。基于核心的Fast LAyered Gaussian Surfels (FLAGS)表示法和引導深度擴散技術，框架在不到10秒的時間內完成場景的生成，極大地提高3D場景創建的速度，保證新舊場景之間的幾何一致性。用戶實時地用文本指令和相機移動交互式地塑造和探索虛擬環境，讓WonderWorld在游戲開發、虛擬現實和創意設計等領域具有廣泛的應用潛力。
WonderWorld的主要功能快速3D場景生成：從單張圖片快速生成3D場景，用戶能實時渲染和探索。交互式控制：用戶基于移動相機和輸入文本提示指定生成場景的內容和位置。多樣化場景創建：支持生成具有不同風格和元素的3D場景，如城市、自然、幻想等。實時用戶交互：在實時渲染的同時，支持用戶與生成的場景進行互動，如移動和旋轉視角。連貫場景連接：新生成的場景能與現有場景在幾何上保持連貫，形成統一的虛擬世界。用戶驅動的內容創作：用戶根據自己的想象和需求，創造出個性化的虛擬環境。WonderWorld的技術原理Fast LAyered Gaussian Surfels (FLAGS)：新穎的場景表示方法，用分層設計和基于幾何的初始化加速場景的生成和優化。單視圖層生成：用文本引導的擴散模型和單視圖圖像來生成場景圖像，用分層方法填補場景中的遮擋區域。基于幾何的初始化：基于估算單目相機的法線和深度信息，快速初始化場景中每個層的幾何參數，減少優化時間。引導深度擴散：一種訓練自由的方法，用部分可見的深度信息引導深度估計，生成與現有場景幾何一致的新場景。實時渲染：在用戶交互過程中，能實時渲染相機移動和文本提示生成的場景，提供流暢的用戶體驗。WonderWorld的項目地址項目官網：kovenyu.com/wonderworldarXiv技術論文：https://arxiv.org/pdf/2406.09394WonderWorld的應用場景游戲開發：游戲設計師快速生成和迭代3D游戲世界，提高游戲設計的效率，支持玩家探索由AI輔助生成的開放世界。虛擬現實（VR）：在虛擬現實應用中，創建沉浸式的3D環境，讓用戶體驗到豐富多樣的虛擬場景，如虛擬旅游、教育或訓練模擬。增強現實（AR）：結合AR技術，WonderWorld能夠為現實世界中的場景增添虛擬元素，為用戶帶來增強的互動體驗。電影和娛樂：在電影制作和動畫中，快速生成電影級的3D背景和場景，減少傳統建模和渲染的時間。建筑設計和規劃：建筑師和城市規劃師用WonderWorld創建和展示設計方案，讓客戶在虛擬環境中預覽建筑或城市的發展藍圖。 
