EcomID是阿里媽媽推出的開源項目,從單個參考圖像生成定制的個性圖像。融合PuLID和InstantID的優點,優化背景一致性、面部關鍵點控制和面部真實性,提高生成圖像的相似度。EcomID在200萬張淘寶圖像上訓練,圖像分辨率高,美學評分超過5.5,能生成與個體身份高度一致的圖像。EcomID適于虛擬現實、影視制作、身份驗證等多個領域,為用戶提供新的解決方案,滿足特定身份圖像生成的需求。
EcomID的主要功能定制化圖像生成:根據單個ID參考圖像生成具有個性化特征的圖像。保持個體身份特征:在圖像生成過程中保持個體的獨特身份特征,確保生成的圖像與原參考圖像在身份上具有高度一致性。高質量圖像輸出:生成的圖像具有高質量和語義一致性,適于多種應用場景。背景一致性:在圖像合成過程中,能協調背景與前景的一致性,避免突兀的合成效果。面部關鍵點控制:精確控制面部關鍵點,確保生成的面部圖像在身份識別上具有高度的準確性。EcomID的技術原理預訓練的人臉編碼器:用預訓練的人臉編碼器提取人臉特征,避免依賴預訓練的CLIP圖像編碼器提取視覺提示的局限性。輕量級適配模塊:基于具有解耦功能的交叉注意力的輕量級適配模塊,支持圖像作為提示,用人臉特征作為圖像提示,而非CLIP表征。IdentityNet:IdentityNet用與ControlNet一致的殘差結構,基于用面部關鍵點作為條件輸入,消除文本提示,用ID嵌入作為ControlNet中交叉注意力層的條件,對參考面部圖像的詳細特征進行編碼。結合PuLID和InstantID:EcomID結合PuLID的IP-Adapter和InstantID的IdentityNet架構,獲得更好的背景一致性、面部關鍵點控制、更真實的面部及更高的相似度。訓練數據集:EcomID在200萬張淘寶圖像上進行訓練,圖像具有高分辨率和高美學評分,確保模型的泛化能力和圖像質量。EcomID的項目地址Github倉庫:https://github.com/alimama-creative/SDXL_EcomID_ComfyUIHuggingFace模型庫:https://huggingface.co/alimama-creative/SDXL-EcomID/blob/main/README_ZH.mdEcomID的應用場景虛擬現實與增強現實:EcomID用在創建逼真的虛擬形象,提升VR/AR中的用戶體驗和沉浸感。影視制作與動畫:快速生成角色的不同表情和姿態,提高制作效率并保持角色形象的一致性。身份驗證與個性化展示:生成與個人身份高度一致的圖像,用在身份驗證或作為社交媒體上的個性化頭像。廣告與營銷:定制化廣告圖像,提高廣告的相關性和吸引力,及創建虛擬品牌形象代言人。時尚與美容:為時尚雜志和在線商店生成模特的多種造型圖像,及提供虛擬試妝試衣服務。 
