ViewExtrapolator是南洋理工大學、UCAS研究團隊共同推出的新視角外推方法，基于穩定視頻擴散（Stable Video Diffusion, SVD）的生成先驗合成遠超出訓練視圖范圍的新視角。這種方法基于重新設計SVD的去噪過程，有效優化輻射場或點云渲染中易產生偽影的視圖，生成更清晰、更逼真的新視角圖像。ViewExtrapolator不需要對SVD進行微調，具有數據和計算效率，能廣泛應用于不同的3D渲染技術。
ViewExtrapolator的主要功能新視角外推：生成超出訓練視圖范圍的新視角圖像，對于提供沉浸式3D體驗和自由探索重建的輻射場至關重要。偽影減少：基于穩定視頻擴散（SVD）的生成先驗，優化由輻射場或點云渲染產生的偽影，提高合成新視角的視覺質量。數據和計算效率：作為一個無需微調SVD的推斷階段方法，在數據和計算上都很高效，讓新視角外推更加實用和可訪問。廣泛的適用性：與不同的3D渲染方法配合使用，包括從單視圖或單目視頻派生的點云渲染，具有很好的通用性和適應性。ViewExtrapolator的技術原理SVD去噪過程：基于穩定視頻擴散（SVD）模型，模型基于逐步去噪高斯噪聲生成視頻。引導退火和重采樣退火：引入引導退火和重采樣退火技術。基于在去噪過程中的不同階段應用不同程度的引導，有效地修復未見區域并提高視覺質量。多視圖一致性：用SVD的多視圖一致性，對輻射場或點云渲染中未觀測到的部分進行自然視頻細節的生成，且保留原始內容，包括相機運動和場景動態。無需訓練：用SVD的生成先驗進行新視角外推，在數據和計算上都很高效。3D渲染的靈活性：無論是從多視圖圖像生成的輻射場，還是從單視圖生成的點云，ViewExtrapolator都能處理，并有效提升渲染質量。ViewExtrapolator的項目地址項目官網：kunhao-liu.github.io/ViewExtrapolatorGitHub倉庫：https://github.com/Kunhao-Liu/ViewExtrapolatorarXiv技術論文：https://arxiv.org/pdf/2411.14208ViewExtrapolator的應用場景虛擬現實（VR）和增強現實（AR）：在VR和AR應用中，生成超出預先渲染視圖的新視角，提升用戶體驗。3D內容創建：對于3D藝術家和游戲開發者，從有限的視圖合成完整的3D場景，減少手動建模的工作量，加速內容創作過程。電影和視頻制作：在電影制作中，生成攝像機未實際捕捉到的視角，或用于創建復雜的特效場景。文物和歷史遺跡的數字化：對于文物和歷史遺跡的數字化保護，從有限的視角重建完整的3D模型，讓研究和展示更加全面。建筑和室內設計可視化：在建筑和室內設計領域，幫助設計師從不同角度預覽設計效果，即使這些角度在實際拍攝時難以達到。 
