IterComp是一個(gè)由清華大學(xué)、北京大學(xué)、LibAI Lab、中國科學(xué)技術(shù)大學(xué)、牛津大學(xué)和普林斯頓大學(xué)的研究人員聯(lián)合推出的文本到圖像生成框架。基于迭代反饋學(xué)習(xí)機(jī)制，聚合多個(gè)擴(kuò)散模型的組合生成偏好，全面提升模型在處理復(fù)雜組合任務(wù)時(shí)的綜合能力。IterComp首先構(gòu)建一個(gè)包含多個(gè)開源模型的圖庫，模型在屬性綁定、空間關(guān)系和非空間關(guān)系等不同方面表現(xiàn)出各自的優(yōu)勢，基于模型的偏好訓(xùn)練獎(jiǎng)勵(lì)模型，用迭代優(yōu)化策略逐步提升基礎(chǔ)擴(kuò)散模型的組合生成能力。這種方法不僅提高生成圖像的質(zhì)量和準(zhǔn)確性，且沒有增加額外的計(jì)算開銷，讓IterComp在多類別對象組合和復(fù)雜語義對齊方面超越現(xiàn)有的最先進(jìn)方法。
IterComp的主要功能模型偏好聚合：IterComp聚合多個(gè)開源擴(kuò)散模型的偏好，模型在不同的組合生成方面表現(xiàn)出各自的優(yōu)勢。數(shù)據(jù)集構(gòu)建：基于模型偏好，構(gòu)建一個(gè)包含大量圖像排名對的數(shù)據(jù)集，用在訓(xùn)練組合感知的獎(jiǎng)勵(lì)模型。迭代反饋學(xué)習(xí)：基于迭代反饋學(xué)習(xí)方法，逐步優(yōu)化基礎(chǔ)擴(kuò)散模型和獎(jiǎng)勵(lì)模型，提升模型在多類別對象組合和復(fù)雜語義對齊方面的表現(xiàn)。自我優(yōu)化：IterComp能在閉環(huán)中自我優(yōu)化，基于多次迭代不斷提升生成圖像的質(zhì)量和準(zhǔn)確性。IterComp的技術(shù)原理模型庫構(gòu)建：選擇多個(gè)在不同組合生成方面表現(xiàn)出色的開源擴(kuò)散模型，形成模型庫。偏好數(shù)據(jù)收集：針對屬性綁定、空間關(guān)系和非空間關(guān)系等關(guān)鍵組合性指標(biāo)，從模型庫中收集偏好數(shù)據(jù)，構(gòu)建數(shù)據(jù)集。獎(jiǎng)勵(lì)模型訓(xùn)練：用收集的數(shù)據(jù)集訓(xùn)練針對不同組合性指標(biāo)的獎(jiǎng)勵(lì)模型，模型將指導(dǎo)基礎(chǔ)擴(kuò)散模型的優(yōu)化。迭代優(yōu)化：基于迭代反饋學(xué)習(xí)框架，逐步優(yōu)化基礎(chǔ)擴(kuò)散模型和獎(jiǎng)勵(lì)模型，實(shí)現(xiàn)模型在組合生成任務(wù)中的持續(xù)自我提升。效果驗(yàn)證：基于廣泛的實(shí)驗(yàn)，驗(yàn)證IterComp在提升組合生成能力方面的效果，與現(xiàn)有最先進(jìn)方法進(jìn)行比較。IterComp的項(xiàng)目地址GitHub倉庫：https://github.com/YangLing0818/IterCompHuggingFace模型庫：https://huggingface.co/comin/IterComparXiv技術(shù)論文：https://arxiv.org/pdf/2410.07171IterComp的應(yīng)用場景藝術(shù)創(chuàng)作：藝術(shù)家和設(shè)計(jì)師用IterComp生成具有特定風(fēng)格和復(fù)雜組合元素的視覺藝術(shù)作品，如幻想場景、角色設(shè)計(jì)或概念藝術(shù)。游戲開發(fā)：在游戲設(shè)計(jì)中，IterComp快速生成游戲環(huán)境、角色和道具的原型圖像，加速游戲資產(chǎn)的創(chuàng)建過程。廣告和品牌營銷：營銷人員設(shè)計(jì)廣告圖像，圖像根據(jù)文本描述精確地組合多個(gè)元素，吸引目標(biāo)受眾。教育和培訓(xùn)：在教育領(lǐng)域，IterComp創(chuàng)建教學(xué)材料中的插圖，如科學(xué)概念的視覺解釋或歷史事件的再現(xiàn)。媒體和娛樂：內(nèi)容創(chuàng)作者生成視頻游戲、電影或電視節(jié)目的概念藝術(shù)，用在故事敘述的視覺元素。 
