HouseCrafter 是由東北大學(xué)和 Stability AI 推出的先進技術(shù)，將二維平面圖自動轉(zhuǎn)換成三維室內(nèi)場景。基于一個網(wǎng)絡(luò)規(guī)模圖像訓(xùn)練的2D擴散模型，生成一致的多視圖彩色（RGB）和深度（D）圖像。圖像自回歸地批量生成，確保全局一致性，重建出高質(zhì)量的3D場景。簡化復(fù)雜虛擬環(huán)境的創(chuàng)建過程，基于用戶交互功能，支持用戶在平面圖上移動家具輕松編輯場景布局，實時更新生成的3D場景。使HouseCrafter在建筑、室內(nèi)設(shè)計和房地產(chǎn)等領(lǐng)域具有廣泛的應(yīng)用潛力。
HouseCrafter的主要功能平面圖到3D場景的轉(zhuǎn)換：將2D平面圖轉(zhuǎn)換成完整的3D室內(nèi)場景，如房屋模型。多視圖圖像生成：生成場景在不同位置的一致多視圖RGB和深度（RGB-D）圖像。自回歸圖像生成：先前生成的圖像用作條件，指導(dǎo)生成相鄰位置的新圖像。全局一致性：通過全局平面圖和注意力機制確保生成圖像的一致性。3D場景重建：基于TSDF融合技術(shù)，從生成的RGB-D圖像重建出3D網(wǎng)格模型。用戶交互和編輯：允許用戶在平面圖上移動家具等元素編輯場景布局，3D視圖會相應(yīng)更新。HouseCrafter的技術(shù)原理2D擴散模型：基于大規(guī)模網(wǎng)絡(luò)圖像訓(xùn)練的2D擴散模型，調(diào)整為生成RGB-D圖像。自回歸批量生成：基于先前生成的圖像，批量生成新圖像，確保空間連貫性。布局引導(dǎo)：用平面圖作為全局布局引導(dǎo)，通過布局注意力層確保生成圖像與平面圖一致。深度信息融合：在圖像生成過程中同時考慮RGB和深度信息，提高幾何和語義的一致性。注意力機制：更新交叉注意力層，基于參考深度的幾何信息，提升圖像生成質(zhì)量。3D重建算法：基于TSDF融合技術(shù)，將多視圖RGB-D圖像轉(zhuǎn)換成3D網(wǎng)格。HouseCrafter的項目地址項目官網(wǎng)：neu-vi.github.io/houseCrafterarXiv技術(shù)論文：https://arxiv.org/pdf/2406.20077HouseCrafter的應(yīng)用場景建筑設(shè)計與規(guī)劃：幫助建筑師和設(shè)計師快速將平面圖轉(zhuǎn)換為3D模型，更好地進行空間規(guī)劃和設(shè)計評審。室內(nèi)設(shè)計：室內(nèi)設(shè)計師創(chuàng)建和修改室內(nèi)設(shè)計方案，預(yù)覽家具擺放和裝飾效果。房地產(chǎn)營銷：房地產(chǎn)開發(fā)商基于HouseCrafter生成的3D模型為客戶提供虛擬房屋參觀，增強營銷材料的吸引力。游戲開發(fā)：游戲設(shè)計師快速構(gòu)建復(fù)雜的3D游戲環(huán)境。虛擬現(xiàn)實 (VR) 和增強現(xiàn)實 (AR)：為虛擬現(xiàn)實和增強現(xiàn)實應(yīng)用提供詳細(xì)的3D室內(nèi)場景，提升用戶體驗。電影和動畫制作：快速生成電影或動畫所需的3D場景，提高制作效率。 
