MagicQuill是香港科技大學、螞蟻集團、浙江大學和香港大學共同推出的開源AI互動式圖像編輯工具?；谟脩粲押玫慕缑婧虯I支持的智能建議，實現精確的局部圖像編輯。用戶用簡單的筆觸和提示詞，輕松添加元素、擦除物體或改變顏色，讓圖像編輯變得簡單、智能且高效。
MagicQuill的主要功能AI支持的智能建議：基于AI算法預測用戶意圖，提供編輯建議，簡化操作流程。精確的局部編輯：支持像素級別的精確編輯，包括元素插入、物體擦除和顏色調整。三種魔法筆刷：添加筆刷：根據提示詞添加細節和元素。減去筆刷：根據提示詞去除多余的細節或重新繪制區域。顏色筆刷：精確地為圖像上色，匹配筆刷的顏色。畫布工具：提供撤銷、重做、旋轉、調整大小等工具，增強編輯靈活性。參數調整：支持用戶調整生成結果的參數，如基礎模型選擇、負提示、邊緣控制等。MagicQuill的技術原理多模態大語言模型（MLLM）：MagicQuill用MLLM實時監測和預測用戶的編輯意圖，減少或消除手動輸入提示的需求。擴散模型（Diffusion Model）：基于擴散模型的強大先驗，從數據分布中學習并生成新的數據實例。雙分支插件模塊：基于精心學習的雙分支插件模塊來增強擴散模型，實現對編輯請求的精確控制。實時意圖預測：系統通過分析用戶的筆觸和輸入的提示詞，實時預測用戶的編輯意圖，并自動生成編輯指令。精確控制編輯：結合MLLM和擴散模型，MagicQuill能夠精確處理用戶的編輯請求，實現精確的圖像編輯效果。MagicQuill的項目地址GitHub倉庫：https://github.com/magic-quill/magicquillarXiv技術論文：https://arxiv.org/pdf/2411.09703在線體驗Demo：https://magicquill.art/demo/MagicQuill的應用場景個人娛樂與創作：用戶為社交媒體照片添加趣味元素或進行藝術創作。教育與學習：教師制作互動式教學材料，增強學生的學習體驗。專業設計：設計師進行快速草圖和概念驗證，提高工作效率。媒體與出版：出版行業編輯和優化書籍封面或雜志插圖。電子商務：電商平臺的商家提升商品圖片的視覺效果，吸引顧客。 
