Fancy123是華中科技大學和華南理工大學推出的3D網格生成技術，基于即插即用的變形技術從單張圖片生成高質量的3D網格。該方法包含兩個增強模塊和反投影操作，分別解決多視圖圖像的局部不一致性、提高網格對輸入圖像的保真度及確保高清晰度。外觀增強模塊基于變形2D多視圖圖像對齊像素，保真度增強模塊基于變形3D網格匹配輸入圖像。Fancy123在定性和定量實驗中顯示出顯著的性能提升，能無縫集成到現有的單圖像到3D的方法中。
Fancy123的主要功能從單張圖片生成3D網格：根據單一的RGB圖像生成具有高視覺吸引力、顏色清晰度和輸入保真度的3D網格模型。解決多視圖圖像的局部不一致性：基于外觀增強模塊，校正由2D多視圖擴散模型生成的圖像中的不一致性，提高多視圖一致性。提高網格對輸入圖像的保真度：基于保真度增強模塊，調整3D網格更精確地匹配輸入圖像，增強網格與輸入圖像的相似度。確保高清晰度：基于反投影操作，將輸入圖像和變形后的多視圖圖像投影到由LRM生成的網格上，提高網格顏色的清晰度，去除模糊效果。Fancy123的技術原理多視圖擴散模型：用2D多視圖擴散模型基于輸入圖像生成一組多視圖圖像。大型重建模型（LRM）：用LRM從多視圖圖像中快速重建一個初始的3D網格。外觀增強模塊：優化基于網格的2D變形場對齊多視圖圖像中的錯位像素。將變形后的多視圖圖像反投影到初始網格上，增強外觀質量并減少幽靈效應。保真度增強模塊：基于參數化網格變形（用Jacobian場）優化網格，使其更貼近輸入圖像。估計輸入圖像的相機參數，以便在變形過程中保持與輸入圖像的對應關系。反投影操作：在2D和3D變形之后，Fancy123執行反投影操作，將輸入圖像和變形后的多視圖圖像幾乎無損地映射到網格上，提高網格顏色的清晰度。即插即用模塊：Fancy123的兩個增強模塊設計為即插即用，能在推理時工作，支持無縫集成到各種現有的單圖像到3D的方法中。Fancy123的項目地址Github倉庫：https://github.com/YuQiao0303/Fancy123arXiv技術論文：https://arxiv.org/pdf/2411.16185Fancy123的應用場景虛擬現實（VR）和增強現實（AR）：在VR和AR應用中，用在從現有的2D圖像創建3D模型，提供更加沉浸式的體驗。游戲開發：游戲設計師快速生成3D游戲資產，減少手工建模的時間和成本。電影和動畫制作：藝術家創建復雜的3D角色和場景，用在電影和動畫的制作。3D打印：將2D設計圖或照片轉換成3D模型，用在3D打印各種物品，如玩具、藝術品等。電子商務：電商平臺為商品提供3D展示，幫助消費者更直觀地了解產品。 
