CAD-MLLM是由上海科技大學、Transcengram、DeepSeek AI和香港大學共同推出的，計算機輔助設計（CAD）模型生成系統，根據用戶的多種輸入（如文本描述、圖像、點云或這些輸入的組合）生成參數化的CAD模型。系統用命令序列和大型語言模型（LLMs）對齊和處理多模態數據，構建完整的CAD模型。CAD-MLLM引入一個名為Omni-CAD的大規模多模態數據集，及新的評估指標，全面評估生成模型的拓撲質量和表面封閉程度。CAD-MLLM在性能上超越現有方法，展現出對數據缺陷的高度魯棒性。
CAD-MLLM的主要功能多模態輸入處理：處理包括文本描述、圖像、點云在內的多種輸入形式，基于輸入生成CAD模型。參數化CAD模型生成：系統能生成參數化的CAD模型，用戶能對生成的模型進行編輯和調整。數據集構建與注釋：引入名為Omni-CAD的數據集，包含文本描述、多視圖圖像、點云和對應的CAD命令序列。評估指標創新：系統引入新的評估指標，評估生成的CAD模型的拓撲質量和表面封閉程度。魯棒性：在處理噪聲和缺失數據時表現出高度的魯棒性。交互式設計：用戶基于簡單的指令和插圖輕松設計CAD模型，讓非專家也能實現設計想法。CAD-MLLM的技術原理命令序列表示：用CAD模型的命令序列，將命令序列向量化，形成適合大型語言模型（LLMs）學習的數據流。多模態數據對齊：用先進的LLMs對齊不同模態數據和CAD模型的向量表示，讓模型理解和處理多種輸入。網絡架構：網絡架構包括視覺數據對齊、點數據對齊和大型語言模型三個模塊，支持跨模態輸入。特征空間共享：非文本輸入首先基于凍結的編碼器處理，然后用投影層將特征對齊在共享的大型語言模型（LLM）特征空間內。低秩適應（LoRA）微調：基于整合提示與多模態嵌入，并應用低秩適應（LoRA）技術對LLM進行微調，生成準確的CAD模型。數據增強方法：提出數據注釋流程和數據增強方法，生成新的多模態條件CAD數據集Omni-CAD。CAD-MLLM的項目地址項目官網：cad-mllm.github.ioarXiv技術論文：https://arxiv.org/pdf/2411.04954CAD-MLLM的應用場景工業設計和制造：設計師和工程師快速生成和修改復雜的工業產品CAD模型，加速產品開發流程。建筑和工程：建筑師和結構工程師從現場照片或地形數據生成精確的CAD圖紙，提高設計和規劃的效率。汽車行業：汽車制造商從概念草圖或描述中生成精確的汽車零部件CAD模型，優化設計和制造流程。航空航天：在航空航天領域，從復雜的設計要求和性能參數中生成飛機和航天器的零部件和結構的CAD模型。教育和培訓：學生和新手，降低學習曲線，提高教學效果。 
