SafeEar是由浙江大學(xué)和清華大學(xué)聯(lián)合開發(fā)的AI音頻偽造檢測框架，保護(hù)用戶隱私的同時(shí)檢測音頻偽造。采用基于神經(jīng)音頻編解碼器的解耦模型，分離語音的聲學(xué)信息和語義信息，用聲學(xué)信息進(jìn)行檢測，有效防止隱私泄露。SafeEar在多個基準(zhǔn)數(shù)據(jù)集上表現(xiàn)優(yōu)異，等錯誤率(EER)低至2.02%，能抵御內(nèi)容恢復(fù)攻擊。SafeEar提供了多語言支持，構(gòu)建了包含150萬條多語種音頻數(shù)據(jù)的CVoiceFake數(shù)據(jù)集，為語音偽造檢測研究提供了寶貴的資源。
SafeEar的主要功能隱私保護(hù)的深度偽造檢測：通過分離語音的語義和聲學(xué)信息，SafeEar僅用聲學(xué)信息來檢測深度偽造音頻，在檢測過程中保護(hù)語音內(nèi)容的隱私。多語言支持：SafeEar能處理和檢測多種語言的音頻數(shù)據(jù)，包括但不限于英語、中文、德語、法語和意大利語。高效的偽造檢測：在多個公開基準(zhǔn)數(shù)據(jù)集上測試顯示，SafeEar的等錯誤率（EER）低至2.02%，表現(xiàn)出高效的檢測能力。抗內(nèi)容恢復(fù)技術(shù)：SafeEar結(jié)合了基于現(xiàn)實(shí)場景的編解碼器增強(qiáng)和抗內(nèi)容恢復(fù)技術(shù)，即使在對抗性攻擊下也能保持高檢測準(zhǔn)確率。真實(shí)環(huán)境增強(qiáng)：通過模擬真實(shí)環(huán)境中的音頻信道多樣性，SafeEar增強(qiáng)了模型對不同通信場景的泛化能力。開源資源：SafeEar提供了論文、代碼和數(shù)據(jù)集的開放訪問，促進(jìn)了研究社區(qū)的進(jìn)一步研究和應(yīng)用開發(fā)。數(shù)據(jù)集構(gòu)建：SafeEar構(gòu)建了CVoiceFake數(shù)據(jù)集，包含150萬條多語種音頻樣本，為語音偽造檢測提供了標(biāo)準(zhǔn)化的測試基準(zhǔn)。SafeEar的技術(shù)原理語義-聲學(xué)信息分離：SafeEar使用神經(jīng)音頻編解碼器模型來解耦音頻中的語義信息（如語言內(nèi)容）和聲學(xué)信息（如音色、語調(diào)和節(jié)奏）。這種分離確保了在檢測偽造音頻時(shí)不會泄露音頻的具體內(nèi)容，保護(hù)了用戶隱私。聲學(xué)信息分析：系統(tǒng)僅分析音頻的聲學(xué)特征，不是語義內(nèi)容。通過關(guān)注音調(diào)、音色和節(jié)奏等聲學(xué)特征，SafeEar能有效地識別出偽造音頻。多語言支持：SafeEar能處理多種語言的音頻數(shù)據(jù)，采用去語義化處理，確保在分析過程中不暴露具體的語義內(nèi)容。抗內(nèi)容恢復(fù)技術(shù)：SafeEar結(jié)合了基于現(xiàn)實(shí)場景的編解碼器增強(qiáng)和抗內(nèi)容恢復(fù)技術(shù)，抵御各種音頻深度偽造方法，確保在對抗性攻擊下也能保持高檢測準(zhǔn)確率。Transformer分類器：SafeEar采用了基于聲學(xué)輸入的Transformer分類器，分類器在偽造檢測方面顯示出了潛力，能提高檢測的精準(zhǔn)度和效率。SafeEar的項(xiàng)目地址項(xiàng)目主頁：safeearweb.github.io/Project/Github倉庫：https://github.com/LetterLiGo/SafeEar技術(shù)論文：https://safeearweb.github.io/Project/files/SafeEar_CCS2024.pdfSafeEar的應(yīng)用場景社交媒體和公共論壇：在這些平臺上，音頻內(nèi)容的偽造可能用于誤導(dǎo)或欺騙，SafeEar可以用來檢測和標(biāo)記這些偽造內(nèi)容。法律和司法系統(tǒng)：在法律程序中，音頻證據(jù)的真?zhèn)沃陵P(guān)重要。SafeEar可以幫助驗(yàn)證錄音的真實(shí)性。金融機(jī)構(gòu)：在客戶服務(wù)和交易驗(yàn)證中，語音識別系統(tǒng)可能會受到偽造音頻的威脅。SafeEar可以提高交易的安全性。政府和安全機(jī)構(gòu)：在國家安全和公共安全領(lǐng)域，檢測偽造的音頻信息至關(guān)重要。SafeEar可以幫助識別潛在的威脅和虛假信息。在線教育：在線課程和考試中，SafeEar可以用來確保音頻材料的真實(shí)性，防止學(xué)術(shù)欺詐。 
