SaRA是一種新型的預訓練擴散模型微調方法，由上海交通大學和騰訊優圖實驗室共同推出。基于重新激活預訓練過程中看似無效的參數，讓模型能適應新任務。SaRA基于核范數低秩稀疏訓練方案避免過擬合，引入漸進式參數調整策略，優化模型性能。SaRA能提高模型的適應性和泛化能力，顯著降低計算成本，只要修改一行代碼即可實現，具有很高的實用價值。
SaRA的主要功能參數重新利用：激活在預訓練中未被充分利用的參數，賦予模型新的能力。防止過擬合：基于核范數低秩稀疏訓練方案，減少模型在微調過程中的過擬合現象。漸進式參數調整：在整個微調過程中不斷評估和選擇參數，確保所有潛在有效的參數都得到充分利用。非結構化反向傳播：降低微調過程中的內存成本，提高參數場的選擇性。提升模型性能：在保持預訓練模型原有知識的同時，優化模型在主任務上的表現。SaRA的技術原理參數重要性分析：分析預訓練模型中的參數，識別出生成過程中影響不大的參數。低秩稀疏訓練：對參數施加低秩約束，基于優化一個稀疏權重矩陣學習特定任務的知識，提高微調效率減少過擬合。漸進式參數調整策略：設計一種策略，在整個微調過程中動態調整參數，確保所有潛在有效的參數得到充分利用。非結構化反向傳播：基于一種特殊的反向傳播策略，減少微調過程中的內存消耗，增強模型對特定任務的適應性。模型兼容性：SaRA方法與現有的預訓練模型兼容，僅需少量代碼修改可實現微調，易于集成到現有的系統中。SaRA的項目地址項目官網：sjtuplayer.github.io/projects/SaRAGitHub倉庫：https://github.com/sjtuplayer/SaRAarXiv技術論文：https://export.arxiv.org/pdf/2409.06633SaRA的應用場景圖像風格遷移：用SaRA調整模型參數，將普通圖像轉換為具有特定藝術風格的圖像，如油畫或素描風格，保持內容和結構不變。圖像定制化：在Dreambooth等應用中，SaRA用在微調UNet網絡，實現對特定對象或風格的圖像定制化，如生成具有特定特征的圖像。視頻生成：SaRA用在微調視頻生成模型（如AnimateDiff），在不同攝像機運動（如縮放、平移）的數據集上進行微調，生成具有特定動態效果的視頻。下游數據集微調：SaRA用在在各種下游數據集上進行微調，適應不同的領域特定任務，如在不同風格數據集上進行微調，生成與文本提示一致的圖像。圖像生成任務：SaRA用在提高預訓練模型在圖像生成任務中的性能，通過優化最初無效的參數，提升模型在主任務上的表現。 
