MVGenMaster是復旦大學、阿里巴巴達摩院和湖潘實驗室共同推出的多視圖擴散模型，基于增強3D先驗處理多樣化的新視角合成（NVS）任務。模型基于度量深度和相機姿態扭曲的3D先驗，提升NVS的泛化和3D一致性。MVGenMaster能從單一圖像出發，用單次前向傳播生成多達100個新視圖。研究團隊推出了一個包含160萬場景的大型多視圖圖像數據集MvD-1M，多項訓練和模型優化技術，增強模型在大規模數據集上的表現。
MVGenMaster的主要功能多視圖生成：從單一圖像或多個參考圖像生成多達100個新視圖，適用于不同的NVS任務，如單視圖NVS、兩視圖插值和任意參考視圖與目標視圖的靈活NVS。3D先驗整合：用度量深度和相機姿態扭曲的3D先驗，模型在2D擴散模型中保持了一致的3D結構。靈活性和泛化：模型設計靈活，能適應不同的視角和場景，展現出在多種場景下的泛化能力。高效前向過程：在單次前向過程中完成多視圖的生成，無需復雜的迭代推理或數據集更新。大規模數據集支持：結合MvD-1M數據集，包含160萬場景和對齊良好的度量深度。MVGenMaster的技術原理3D先驗：MVGenMaster用度量深度和相機姿態創建3D先驗，3D先驗在模型中被用來指導新視圖的生成，確保3D結構的一致性。幾何扭曲：基于幾何扭曲函數，模型將參考視圖的像素和規范坐標映射（CCM）從源視圖扭曲到目標視圖。多視圖擴散模型（LDM）：MVGenMaster基于潛在擴散模型（LDM），學習如何從參考圖像和3D先驗中合成目標視圖的圖像。注意力機制：模型用全注意力機制，跨越所有參考和目標視圖，捕獲密集的相機姿態表示。Plücker射線：用Plücker射線表示相機姿態，為模型提供精確的相機位置和方向信息。關鍵重縮放技術：為處理極長序列的目標視圖，MVGenMaster引入關鍵重縮放技術，增強參考視圖的指導，平衡注意力稀釋問題。MVGenMaster的項目地址項目官網：ewrfcas.github.io/MVGenMasterGitHub倉庫：https://github.com/ewrfcas/MVGenMasterarXiv技術論文：https://arxiv.org/pdf/2411.16157MVGenMaster的應用場景視頻游戲：在視頻游戲中，用在生成高質量的3D內容，提升游戲畫面的真實感和沉浸感。電影和視覺特效：在電影制作和視覺特效中，創建復雜的3D場景和特效，減少實際拍攝和后期制作的成本。虛擬現實（VR）和增強現實（AR）：在VR和AR應用中，生成逼真的3D環境，為用戶提供更加豐富和互動的體驗。3D建模和設計：設計師從2D圖像創建3D模型，加速產品設計和原型制作的過程。建筑可視化：在建筑和城市規劃中，幫助建筑師和規劃師從不同角度展示建筑設計，進行更好的方案評估。 
