Amphion是開(kāi)源的音頻、音樂(lè)和語(yǔ)音生成工具包，是香港中文大學(xué)（深圳）副教授武執(zhí)政團(tuán)隊(duì)聯(lián)合上海人工智能實(shí)驗(yàn)室和深圳市大數(shù)據(jù)研究院共同推出的。工具包支持可重復(fù)的研究，幫助初級(jí)研究人員和工程師快速進(jìn)入音頻、音樂(lè)和語(yǔ)音生成領(lǐng)域。Amphion提供多種功能，包括文本轉(zhuǎn)語(yǔ)音（TTS）、歌聲合成（SVS）、語(yǔ)音轉(zhuǎn)換（VC）、歌聲轉(zhuǎn)換（SVC）、文本轉(zhuǎn)音頻（TTA）和文本轉(zhuǎn)音樂(lè)（TTM）。集成多種神經(jīng)聲碼器，如MelGAN、HiFi-GAN等，及全面的評(píng)估指標(biāo)，確保生成音頻的質(zhì)量和一致性。Amphion的獨(dú)特之處在于經(jīng)典模型和架構(gòu)的可視化功能，有助于研究人員和工程師深入理解模型的內(nèi)部工作原理。
Amphion的主要功能文本轉(zhuǎn)語(yǔ)音（TTS）：Amphion支持多種先進(jìn)的TTS模型，能將文本轉(zhuǎn)換為自然流暢的語(yǔ)音輸出。歌聲合成（SVS）：基于提取參考和源音頻的相關(guān)特征，Amphion能合成歌聲，實(shí)現(xiàn)演唱者聲音的轉(zhuǎn)換。語(yǔ)音轉(zhuǎn)換（VC）：Amphion能將一個(gè)人的聲音轉(zhuǎn)換成另一個(gè)人的聲音，不改變語(yǔ)音內(nèi)容。歌聲轉(zhuǎn)換（SVC）：Amphion能將一位演唱者的歌聲轉(zhuǎn)換為另一位演唱者的歌聲。文本轉(zhuǎn)音頻（TTA）：Amphion能根據(jù)文本提示生成逼真的音效、語(yǔ)音及音樂(lè)。文本轉(zhuǎn)音樂(lè)（TTM）：Amphion能將文本描述轉(zhuǎn)換為音樂(lè)作品。聲碼器（Vocoder）：Amphion集成多種聲碼器，用在生成高質(zhì)量的音頻信號(hào)。Amphion的技術(shù)原理模型架構(gòu)可視化：Amphion提供經(jīng)典模型或架構(gòu)的可視化，幫助研究人員和工程師更好地理解模型的工作原理。統(tǒng)一框架：Amphion提供統(tǒng)一的框架，支持多種音頻生成任務(wù)，讓研究和開(kāi)發(fā)更加方便。預(yù)訓(xùn)練模型：Amphion發(fā)布多種高質(zhì)量的預(yù)訓(xùn)練模型，推動(dòng)可重復(fù)性研究。神經(jīng)聲碼器集成：Amphion集成多種神經(jīng)聲碼器，如基于GAN的聲碼器（MelGAN、HiFi-GAN等）、基于流的聲碼器（WaveGlow）和基于擴(kuò)散的聲碼器（DiffWave）。文本到音頻生成：Amphion用潛在擴(kuò)散模型，類似于AudioLDM、Make-an-Audio和AUDIT的設(shè)計(jì)，根據(jù)文本提示生成音頻。Amphion的項(xiàng)目地址項(xiàng)目官網(wǎng)：openhlt.github.io/amphionGitHub倉(cāng)庫(kù)：https://github.com/open-mmlab/amphionHuggingFace模型庫(kù)：https://huggingface.co/amphionarXiv技術(shù)論文：https://arxiv.org/pdf/2312.09911Amphion的應(yīng)用場(chǎng)景智能語(yǔ)音助手：Amphion能開(kāi)發(fā)更自然、更個(gè)性化的語(yǔ)音合成系統(tǒng)，提升智能語(yǔ)音助手的用戶體驗(yàn)。虛擬主播和虛擬形象：用Amphion的TTS和SVS功能，創(chuàng)建虛擬主播，用在新聞播報(bào)、在線教育和娛樂(lè)直播等。音樂(lè)制作：音樂(lè)制作人用Amphion生成獨(dú)特的音效和音樂(lè)片段，激發(fā)創(chuàng)意靈感，加速音樂(lè)創(chuàng)作過(guò)程。電影和游戲配音：在電影制作和游戲開(kāi)發(fā)中，Amphion創(chuàng)建或改變角色的語(yǔ)音，適應(yīng)不同的場(chǎng)景和角色設(shè)定。語(yǔ)音識(shí)別和交互系統(tǒng)：Amphion用在開(kāi)發(fā)和改進(jìn)語(yǔ)音識(shí)別系統(tǒng)，讓系統(tǒng)更加準(zhǔn)確和自然。 
