FabricDiffusion是谷歌和卡內(nèi)基梅隆大學(xué)共同推出的高保真度3D服裝生成技術(shù)，能將現(xiàn)實世界中2D服裝圖像的紋理和印花高質(zhì)量地轉(zhuǎn)移到任意形狀的3D服裝模型上。FabricDiffusion基于去噪擴散模型和大規(guī)模合成數(shù)據(jù)集糾正輸入紋理圖像的失真，生成包括漫反射、粗糙度、法線和金屬度在內(nèi)的多種紋理貼圖，實現(xiàn)在不同光照條件下對3D服裝進行精確的重新照明和渲染，展現(xiàn)出卓越的性能和泛化能力。
FabricDiffusion的主要功能高質(zhì)量紋理轉(zhuǎn)移：將2D服裝圖像的紋理和印花自動提取、轉(zhuǎn)移到3D服裝模型上。處理多種紋理：處理各種類型的紋理、圖案和材料。生成多種紋理貼圖：能生成漫反射貼圖，和生成粗糙度、法線和金屬感的貼圖。跨光照條件渲染：支持在不同光照條件下對3D服裝進行準(zhǔn)確的重新照明和渲染。零樣本泛化：在完全使用合成渲染圖像訓(xùn)練的情況下，泛化到現(xiàn)實世界的圖像。FabricDiffusion的技術(shù)原理去噪擴散模型：用去噪擴散模型學(xué)習(xí)從失真的輸入紋理圖像中恢復(fù)出無失真、可平鋪的紋理材料。大規(guī)模合成數(shù)據(jù)集：構(gòu)建包含超過100k紡織顏色圖像、3.8k材質(zhì)PBR紋理圖、7k印花和22個3D服裝網(wǎng)格的大規(guī)模合成數(shù)據(jù)集，訓(xùn)練模型。紋理圖像糾正：基于模型訓(xùn)練，糾正輸入紋理圖像中的失真，生成與基于物理的渲染（PBR）材質(zhì)生成流程緊密結(jié)合的平坦紋理圖。特征轉(zhuǎn)移：從單一服裝圖像中轉(zhuǎn)移包括紋理圖案、材質(zhì)屬性和詳細印花和標(biāo)志在內(nèi)的各種特征。歸一化和可平鋪：生成的紋理圖是歸一化的，在服裝的UV空間中平鋪，與現(xiàn)有的PBR材質(zhì)估計流程無縫集成。條件生成：模型根據(jù)輸入的服裝圖像條件生成對應(yīng)的紋理，實現(xiàn)從2D到3D的高質(zhì)量紋理轉(zhuǎn)移。FabricDiffusion的項目地址項目官網(wǎng)：humansensinglab.github.io/fabric-diffusionarXiv技術(shù)論文：https://arxiv.org/pdf/2410.01801FabricDiffusion的應(yīng)用場景虛擬試衣：在電子商務(wù)和時尚零售中，創(chuàng)建虛擬試衣間，讓消費者在線上試穿3D服裝，提高購物體驗。游戲和娛樂：在游戲開發(fā)中，快速生成具有真實紋理的3D服裝，增強游戲角色的視覺真實感。虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）：在VR和AR應(yīng)用中，創(chuàng)建逼真的虛擬環(huán)境和角色，提升用戶沉浸感。電影和電視制作：在影視制作中，生成或修改服裝紋理，提高特效和服裝設(shè)計的效率。時尚設(shè)計和原型制作：設(shè)計師探索新的設(shè)計和紋理，快速創(chuàng)建服裝原型，加速設(shè)計迭代。 
