Illustrious是開源的文本到圖像動漫圖像生成模型，是Onoma AI Research推出的。基于優化批量大小、dropout控制、訓練圖像分辨率和多級標題等關鍵方法，實現高分辨率、動態色域和高還原能力的圖像生成。模型在動畫風格的表現上超越如Stable Diffusion XL和其他一些廣泛使用的動漫圖像生成模型，并支持易于定制和個性化的開源特性。
Illustrious的主要功能文本到圖像生成：將文本描述轉換成高質量的動漫風格圖像。高分辨率圖像：生成超過20MP的高分辨率圖像，保持角色解剖學的準確性。動態色域：基于提示控制顏色和亮度，生成具有動態色域的圖像。多級標題：用自然語言和標簽為圖像分配多個標題，更好地控制和描述生成的圖像。模型改進：基于批量大小和dropout控制優化學習過程，提高模型的可控性和生成能力。Illustrious的技術原理基于Stable Diffusion XL架構：用改進的U-Net和Transformer架構，結合CLIP ViT-L和OpenCLIP ViT-bigG雙文本編碼器。控制Token和Dropout：基于精細控制batch size和dropout，優化模型的學習速度和可控性。訓練分辨率提升：增加訓練圖像的分辨率，更準確地描繪角色解剖學。多級標題的應用：覆蓋所有標簽和各種自然語言標題，提高模型對文本描述的理解。數據預處理和增強：對Danbooru數據集進行預處理，解決性別分布不平衡、標簽結構問題和高分辨率圖像問題。對比學習和弱概率Dropout Tokens：基于對比學習和弱概率Dropout Tokens提高模型對特定概念的理解。Illustrious的項目地址HuggingFace模型庫：https://huggingface.co/OnomaAIResearch/Illustrious-xl-early-release-v0arXiv技術論文：https://arxiv.org/pdf/2409.19946Illustrious的應用場景藝術創作與設計：藝術家和設計師生成動漫風格的圖像，用在插畫、概念藝術、游戲設計等領域。內容創作：內容創作者快速生成圖像，用于社交媒體、博客文章、電子書或視頻內容的插圖。娛樂產業：在動畫和游戲產業中，輔助角色設計和場景構建，提供初步的視覺概念。廣告與營銷：營銷人員設計廣告圖像，快速生成吸引眼球的營銷材料。教育與培訓：在教育領域，作為教學工具，幫助學生理解動漫藝術和圖像生成技術。 
