In-Context LoRA是阿里巴巴通義實驗室推出的基于擴散變換器（DiTs）的圖像生成框架，用模型的內在上下文學習能力，最小化調整激活模型的上下文生成能力。這種方法無需修改原始模型架構，只需對訓練數據進行微調，就能適應多樣的圖像生成任務，有效簡化訓練過程并減少對大量標注數據的依賴，且保持高生成質量。In-Context LoRA在多個實際應用場景中表現出色，能生成連貫一致且高度符合提示的圖像集合，支持條件圖像生成。
In-Context LoRA的主要功能多任務圖像生成：適應多種圖像生成任務，如故事板生成、字體設計、家居裝飾等，無需針對每個任務訓練特定模型。上下文學習能力：用現有文本到圖像模型的內在上下文學習能力，基于小數據集的LoRA調整、激活和增強能力。任務無關性：在數據調整上是任務特定的，但在架構和流程上保持任務不可知，讓框架能夠適應廣泛的任務。圖像集生成：能同時生成具有定制內在關系的圖像集，圖像集是有條件的或基于文本提示的。條件圖像生成：支持基于現有圖像集的條件生成，用SDEdit技術進行訓練免費的圖像補全。In-Context LoRA的技術原理擴散變換器（DiTs）：基于擴散變換器（DiTs），用于圖像生成的模型，模擬擴散過程逐步構建圖像。上下文生成能力：該技術假設文本到圖像的DiTs天生就具備上下文生成能力，理解和生成具有復雜內在關系的圖像集。圖像連接：與其連接注意力標記（tokens）不同，In-Context LoRA將一組圖像直接連接成一張大圖像進行訓練，類似于在DiTs中連接標記。聯合描述：合并每個圖像的提示（prompts）形成一個長的提示，模型能同時處理和生成多個圖像。小數據集的LoRA調整：用小數據集（20到100個樣本）進行Low-Rank Adaptation（LoRA）調整，激活和增強模型的上下文能力。任務特定的調整：In-Context LoRA的架構和流程保持任務不可知，適應不同的任務不需要修改原始模型架構。In-Context LoRA的項目地址項目官網：ali-vilab.github.io/In-Context-LoRA-PageGitHub倉庫：https://github.com/ali-vilab/In-Context-LoRAarXiv技術論文：https://arxiv.org/pdf/2410.23775In-Context LoRA的應用場景故事板生成：用在電影、廣告或動畫制作中，快速生成一系列場景圖像，展示故事情節的發展。字體設計：設計和生成具有特定風格和主題的字體，適于品牌標識、海報、邀請函等。家居裝飾：生成家居裝飾風格的圖像，幫助設計師和客戶預覽裝飾效果，如墻面顏色、家具布局等。肖像插畫：將個人照片轉換成藝術風格的插畫，用于個人肖像、社交媒體頭像或藝術作品。人像攝影：生成具有特定風格和背景的人像照片，用在時尚雜志、廣告或個人藝術照。 
