Self-Lengthen是阿里巴巴千問團隊推出的創新的迭代訓練框架，能提升大型語言模型（LLMs）生成長文本的能力。框架基于兩個角色，生成器和擴展器協同工作，生成器負責生成初始響應，擴展器將響應拆分、擴展產生更長的文本。整個過程不斷迭代，逐步訓練模型處理更長的輸出。Self-Lengthen無需額外數據或專有模型，基于LLMs的內在知識和技能，有效解決長文本生成的訓練缺陷問題。
Self-Lengthen的主要功能提升輸出長度：讓LLMs能生成比傳統訓練方法更長的文本輸出。保持內容質量：在擴展文本長度的同時，保持甚至提升生成內容的連貫性和相關性。無需額外數據：不依賴外部數據源或專有模型，基于模型內在的知識和技能。迭代訓練：基于迭代過程逐步提升模型處理長文本的能力。靈活性：能應用于多種不同的長文本生成任務，包括文學創作、學術研究等。Self-Lengthen的技術原理生成器（Generator）和擴展器（Extender）：生成器：負責生成初始的短文本響應。擴展器：將生成器的輸出作為輸入，擴展成長文本。迭代訓練過程：基于反復迭代，逐步增加生成器和擴展器處理長文本的能力。每次迭代中，擴展器嘗試將生成器的輸出擴展得更長，用更長的輸出微調生成器，直接生成更長的文本。指令增廣：用自指導技術擴充和多樣化訓練指令，更好地引導模型生成長文本。兩階段擴展方法：第一階段：擴展器擴展生成器輸出的前半部分。第二階段：用第一階段的擴展結果指導擴展剩余部分，實現整個文本的擴展。微調模型：用基于擴展得到更長的文本微調生成器和擴展器，便于在未來的迭代中生成更長的文本。質量控制：基于規則和評估機制確保生成的長文本質量，避免重復、無意義的擴展。Self-Lengthen的項目地址GitHub倉庫：https://github.com/QwenLM/Self-LengthenarXiv技術論文：https://arxiv.org/pdf/2410.23933Self-Lengthen的應用場景創意寫作：用在生成小說、故事、劇本等長篇文學作品。學術研究：輔助學者和研究人員撰寫學術論文、技術報告和研究提案。新聞媒體：用在撰寫新聞報道、深度文章和專題報道，提供詳盡的內容覆蓋。教育內容開發：創建教育材料、課程內容和教科書，提供深入的教學資源。商業文案：撰寫營銷文案、廣告內容和商業計劃書等商業文檔。 
