LLaMA-Mesh是清華大學和NVIDIA共同推出的項目，基于將3D網格生成與大型語言模型（LLMs）結合，實現用文本提示直接生成3D模型的功能。項目用OBJ文件格式將3D網格的頂點坐標和面定義轉換為文本，基于頂點量化技術優化處理，讓模型能理解和生成3D網格。LLaMA-Mesh能生成高質量的3D網格，保持強大的語言理解和生成能力，為3D內容創作提供一種更直觀、高效的新方法。
LLaMA-Mesh的主要功能3D網格生成：根據文本提示生成相應的3D網格模型。網格理解：理解和解釋3D網格的結構和特征。文本-網格交錯輸出：在對話中生成文本和3D網格的交錯輸出，實現交互式設計。保持語言能力：在擴展到3D網格生成的同時，保持模型的文本理解和生成能力。LLaMA-Mesh的技術原理3D表示：OBJ文件格式：用OBJ文件格式將3D網格的頂點坐標和面定義表示為純文本，能被語言模型處理。頂點量化：將頂點坐標量化到固定數量的區間，減少標記數量，讓模型能處理更長的序列，保持幾何細節。預訓練模型：LLaMA3.1-8B-Instruct選用經過指令調整的預訓練模型，具備理解文本提示、生成3D網格的能力。3D任務微調：監督微調（SFT）數據集：構建包含文本-3D對和交錯文本-3D對話的數據集，基于微調讓模型掌握3D網格生成技能。規則和LLM增強：結合規則方法和基于語言模型的增強手段構建訓練數據，提高模型的3D理解和生成能力。統一模型：文本和3D網格統一：在統一的模型中生成文本和3D網格，實現多模態內容生成。LLaMA-Mesh的項目地址項目官網：research.nvidia.com/labs/toronto-ai/LLaMA-MeshGitHub倉庫：https://github.com/nv-tlabs/LLaMa-MesharXiv技術論文：https://arxiv.org/pdf/2411.09595LLaMA-Mesh的應用場景創意設計：設計師快速生成家具、裝飾品、藝術品等3D模型，加速從概念到原型的轉變。游戲開發：游戲開發者快速生成游戲中的武器、道具、角色等3D模型，提高游戲設計的效率和豐富性。教育與培訓：在教育領域，輔助教學，生成幾何圖形、生物結構、歷史文物等3D模型，增強學生的理解和學習體驗。建筑與工程：建筑師和工程師生成建筑模型和工程組件，進行設計驗證和可視化展示。虛擬現實（VR）和增強現實（AR）：在VR和AR應用中，生成逼真的3D場景和物體，提供沉浸式的用戶體驗。 
