Matryoshka Diffusion Models（MDM）是由蘋果公司研究人員推出的一種新型擴散模型框架，旨在解決生成高分辨率圖像和視頻時面臨的計算和優化挑戰。MDM基于在多個分辨率上聯合去噪的擴散過程，采用嵌套UNet架構，實了小尺度模型嵌套在大尺度模型中的特征，促進不同尺度間的特征共享，支持從低分辨率到高分辨率的漸進式訓練策略。顯著提高高分辨率生成的優化效率，在多個基準測試中展現優異的性能，包括在ImageNet數據集上的類條件圖像生成及高分辨率的文本到圖像和文本到視頻的應用。MDM能訓練高達1024×1024像素分辨率的單像素空間模型，在較小的數據集上展示強大的零樣本泛化能力。
MDM的主要功能多分辨率聯合擴散：MDM能同時處理多個分辨率的輸入，支持模型在不同尺度上進行學習和生成，提高生成效率和質量。特征和參數的嵌套：在MDM的NestedUNet架構中，小尺度輸入的特征和參數被嵌套在大尺度輸入中，促進不同分辨率間的信息共享和有效利用計算資源。漸進式訓練：MDM基于從低分辨率到高分辨率的漸進式訓練策略，有助于優化模型的訓練過程，避免一開始就處理高分辨率數據帶來的計算負擔。高分辨率生成：MDM能生成高達1024×1024像素分辨率的圖像，保持生成質量和處理速度。零樣本泛化：在較小的數據集上，MDM展現出良好的零樣本泛化能力，能在未見過的類別上生成圖像。MDM的技術原理多分辨率擴散過程：MDM基于在多個分辨率上聯合去噪輸入，支持模型同時處理不同尺度的圖像數據，提高生成效率和質量。嵌套UNet架構（Nested UNet）：MDM基于一種特殊的UNet架構，其中小尺度的特征和參數嵌套在大尺度的參數中，促進不同分辨率間的信息共享。漸進式訓練策略：模型訓練從低分辨率開始，逐步增加到高分辨率，避免一開始就處理高分辨率數據的高計算成本，加快訓練速度。多分辨率損失函數：MDM設計一種損失函數，能同時考慮不同分辨率的圖像數據，有助于提高高分辨率圖像的生成質量。混合分辨率訓練：在訓練過程中，MDM支持在單個批次中同時訓練不同分辨率的樣本，進一步提高訓練的靈活性和效率。MDM的項目地址MDM項目官網：machinelearning.apple.com/research/matryoshka-diffusion-modelsGitHub倉庫：https://github.com/apple/ml-mdmarXiv技術論文：https://arxiv.org/pdf/2310.15111MDM的應用場景數字藝術創作：藝術家和設計師用MDM生成具有獨特風格和細節的數字藝術作品。游戲開發：在游戲開發過程中，MDM快速生成游戲內的各種背景、角色和物品的高清圖像。電影和動畫制作：MDM生成電影或動畫中的高分辨率場景和特效，提高制作效率。廣告和品牌內容：營銷人員用MDM設計廣告圖像和品牌視覺內容，吸引目標受眾。教育材料：教育工作者用MDM創建教育插圖和動畫，讓學習材料更加生動和吸引人。 
