FakeShield是北京大學(xué)研究人員推出的多模態(tài)大型語(yǔ)言模型框架，能檢測(cè)和定位圖像偽造。框架能評(píng)估圖像的真實(shí)性，生成被篡改區(qū)域的掩碼，提供基于像素級(jí)和圖像級(jí)篡改線索的判斷依據(jù)。FakeShield用GPT-4o增強(qiáng)現(xiàn)有數(shù)據(jù)集，創(chuàng)建多模態(tài)篡改描述數(shù)據(jù)集（MMTDSet），用在訓(xùn)練篡改分析能力。FakeShield包含兩個(gè)關(guān)鍵模塊：領(lǐng)域標(biāo)簽引導(dǎo)的可解釋偽造檢測(cè)模塊（DTE-FDM）和多模態(tài)偽造定位模塊（MFLM），分別負(fù)責(zé)檢測(cè)和定位任務(wù)。FakeShield在多種篡改技術(shù)如Photoshop、DeepFake和AIGC編輯的檢測(cè)和定位上表現(xiàn)出色，提供可解釋且優(yōu)于傳統(tǒng)方法的解決方案。
FakeShield的主要功能圖像真實(shí)性評(píng)估：判斷圖像是否經(jīng)過(guò)篡改。篡改區(qū)域定位：生成圖像中被篡改區(qū)域的掩碼。篡改線索分析：提供基于像素級(jí)和圖像級(jí)篡改線索的判斷依據(jù)。多模態(tài)數(shù)據(jù)處理：結(jié)合視覺(jué)和語(yǔ)言模型，提高檢測(cè)的準(zhǔn)確性和可解釋性。FakeShield的技術(shù)原理多模態(tài)框架設(shè)計(jì)：FakeShield基于多模態(tài)大型語(yǔ)言模型（M-LLM），整合視覺(jué)和文本信息，提高檢測(cè)和定位的準(zhǔn)確性。數(shù)據(jù)集增強(qiáng)：用GPT-4o增強(qiáng)現(xiàn)有的IFDL數(shù)據(jù)集，創(chuàng)建MMTDSet，提供更豐富的訓(xùn)練樣本。領(lǐng)域標(biāo)簽引導(dǎo)：引入領(lǐng)域標(biāo)簽（Domain Tag）區(qū)分不同類型的篡改數(shù)據(jù)，增強(qiáng)模型對(duì)不同篡改類型的識(shí)別能力。可解釋性模塊：開發(fā)DTE-FDM模塊，基于分析圖像特征和生成詳細(xì)的文本描述提供檢測(cè)依據(jù)。偽造定位模塊：用MFLM模塊，結(jié)合視覺(jué)語(yǔ)言特征，精確定位篡改區(qū)域。FakeShield的項(xiàng)目地址GitHub倉(cāng)庫(kù)：https://github.com/zhipeixu/FakeShieldarXiv技術(shù)論文：https://arxiv.org/pdf/2410.02761FakeShield的應(yīng)用場(chǎng)景社交媒體內(nèi)容審核：在社交平臺(tái)上自動(dòng)檢測(cè)和過(guò)濾經(jīng)過(guò)篡改的圖片，防止假新聞和誤導(dǎo)性內(nèi)容的傳播。法律取證：在法庭證據(jù)收集中，鑒定圖像證據(jù)是否被篡改，確保證據(jù)的真實(shí)性和有效性。新聞媒體：幫助新聞機(jī)構(gòu)驗(yàn)證新聞圖片和視頻的真實(shí)性，維護(hù)新聞報(bào)道的準(zhǔn)確性和公信力。版權(quán)保護(hù)：為版權(quán)所有者提供工具，檢測(cè)和定位未經(jīng)授權(quán)使用或篡改的圖像，保護(hù)知識(shí)產(chǎn)權(quán)。安全監(jiān)控：在安全監(jiān)控領(lǐng)域，確保監(jiān)控圖像的真實(shí)性，防止用篡改圖像進(jìn)行的欺詐或非法行為。 
