Hunyuan3D-1.0 是騰訊推出的3D生成模型,具備文本和圖像輸入條件,支持高質量的3D資產生成。該模型采用兩階段方法,首先使用多視角擴散模型生成多視角RGB圖像,再基于Transformer的稀疏視角大規模重建模型,將這些圖像轉換為3D資產。Hunyuan3D-1.0 包含輕量版和標準版,輕量版生成速度快,適用于快速3D建模,標準版則生成更高質量的3D模型。
Hunyuan3D-1.0的主要功能文本到3D生成:Hunyuan3D-1.0 支持根據文本提示生成3D資產,用戶可以輸入文本描述,模型能生成相應的3D模型。圖像到3D生成:模型能根據單張或多張圖像生成3D模型,支持用戶通過圖像來指導3D生成的過程。兩階段生成方法:模型采用兩階段方法進行3D生成,第一階段是多視角擴散模型,在大約4秒內生成多視角RGB圖像;第二階段是基于Transformer的稀疏視角大規模重建模型,在大約7秒內重建3D資產。高質量3D資產生成:Hunyuan3D-1.0 能生成高質量、多樣化的3D資產,包括復雜的結構和細節。快速生成:相比其他模型,Hunyuan3D-1.0 在生成速度上有顯著提升,減少了3D資產生產的耗時。Hunyuan3D-1.0的技術原理多視角擴散模型:在第一階段,Hunyuan3D-1.0 使用多視角擴散模型在固定相機視角下合成6個新視角圖像,從不同視角捕捉3D資產的豐富細節,將3D生成任務從單視角重建轉化為難度更低的多視角重建任務。多視角重建模型:在第二階段,將生成的多視角圖像輸入基于Transformer的稀疏視角大規模重建模型。基于上一階段生成的多視角圖像,重建模型學習處理多視角擴散引入的噪聲和不一致性,用條件圖像中的可用信息高效恢復3D結構。自適應CFG(classifer-free guidance):在第一階段多視圖生成中,模型采用自適應CFG,為不同視角和time steps設置不同的CFG尺度值,平衡生成控制與多樣性。混合輸入技術:在第二階段多視圖重建中,模型結合了已校準(生成的多視角圖像)和未校準(用戶輸入)的混合輸入,通過專門的視角無關分支整合條件圖像信息,提升生成圖像中的不可見部分精度。高分辨率特征表示:Hunyuan3D-1.0 通過線性層將特征平面的分辨率從64上采樣到256,使特征表征更加細膩,生成物體細節更豐富。Signed distance function(SDF):模型采用了SDF的隱式表示,通過Marching cube算法在三維空間進行采樣查詢得到signed distance來輸出3D mesh,可以直接與3D管線結合。Hunyuan3D-1.0的項目地址項目官網:3d.hunyuan.tencent.comGithub倉庫:https://github.com/Tencent/Hunyuan3D-1HuggingFace模型庫:https://huggingface.co/tencent/Hunyuan3D-1Hunyuan3D-1.0的應用場景3D創作與游戲開發:Hunyuan3D-1.0 可以幫助3D創作者和藝術家自動化生產3D資產,支持從文本描述或圖像生成3D模型,適用于游戲開發中的角色、場景和道具設計。工業設計:在工業設計領域,Hunyuan3D-1.0 可以用于創建各種產品的三維模型,方便設計師進行設計和修改。建筑設計:Hunyuan3D-1.0 能展示建筑效果圖、鳥瞰圖等,幫助設計師和客戶進行溝通和確認。室內設計:通過Hunyuan3D-1.0設計師可以制作效果圖、方案推敲等,直觀地展示設計方案。產品設計:Hunyuan3D-1.0 可以用于產品構造及產品展示效果的創建,幫助設計師在產品設計過程中進行更直觀的展示和評估。工程設計:在工程設計中,Hunyuan3D-1.0 可以用于設計新設備、交通工具、結構等,為工程師提供直觀的三維模型支持。 
