Seed-Music是字節跳動推出的AI音樂生成大模型，將用戶錄制的 10 秒音頻轉化為完整的音樂作品。通過自回歸語言模型和擴散方法，根據用戶的多模態輸入（如風格描述、音頻參考、樂譜和聲音提示）生成高質量、風格可控的音樂。Seed-Music旨在簡化音樂創作流程，讓無論是新手還是專業音樂人都能輕松創作音樂。不僅能生成完整的音頻作品，還提供音樂編輯功能，用戶可以對生成的音樂進行個性化調整。
Seed-Music的主要功能歌詞和旋律編輯：用戶直接在生成的音頻中編輯歌詞和旋律，實現個性化的音樂創作。零樣本歌聲轉換：支持用戶通過提供10秒鐘的演唱或普通語音，Seed-Music將用戶的聲音轉換成富有表現力的歌唱表演，支持模仿任意性別和風格的歌曲。符號音樂表示：Seed-Music引入了“lead sheet tokens”作為符號音樂表示，用戶以更直觀的方式理解和編輯音樂，包括旋律、和聲和節奏等。音樂結構編輯：用戶編輯音樂的不同部分，如主歌、副歌和其他結構元素，適應特定的創作需求。音樂風格和情感調整：Seed-Music支持用戶調整生成音樂的風格和情感，以匹配他們的創意愿景。Seed-Music的技術原理自回歸語言模型（Auto-regressive Language Model, LM）：通過學習音樂數據集中的模式來預測音樂序列中的下一個元素，如音符、節奏或和弦。在音樂生成中，自回歸模型基于給定的輸入（如歌詞、旋律片段或其他音樂特征）來生成連貫的音樂序列。擴散模型（Diffusion Models）：通過逐步去除噪聲來生成數據，類似于物理過程中的擴散現象。在音樂編輯中，擴散模型可以用來精細地調整音樂元素，如修改旋律或和聲，同時保持音樂的自然流暢性。零樣本學習（Zero-Shot Learning）：在Seed-Music中，零樣本歌聲轉換允許用戶在不提供大量樣本的情況下，將自己的聲音轉換為特定的歌聲風格。多模態輸入處理：系統能處理和理解多種類型的輸入數據，如文本、音頻和樂譜，并將這些數據融合以生成音樂。音符級編輯（Note-Level Editing）：系統提供對音樂的精細控制，允許用戶在音符級別上進行編輯，包括修改音高、時長和力度等。Seed-Music的項目地址項目官網：team.doubao.com/en/special/seed-musicarXiv技術論文：https://arxiv.org/pdf/2409.09214Seed-Music應用場景個人音樂創作：音樂愛好者用Seed-Music來創作自己的歌曲，無需深厚的音樂理論知識或演奏技能。專業音樂制作：音樂制作人和作曲家用Seed-Music生成音樂小樣，快速原型設計，或者作為創作靈感的來源。音樂教育：教師和學生用Seed-Music作為教學工具，通過實踐學習音樂理論和作曲技巧。社交媒體內容創作：內容創作者為他們的社交媒體帖子生成獨特的背景音樂，增強視覺內容的吸引力。廣告和多媒體制作：廣告商和多媒體制作人為商業廣告、視頻、電影和游戲生成定制的音樂和聲軌。 
