迪士尼的研究團(tuán)隊(duì)最近推出了一種全新的圖像壓縮方法，利用開源的 Stable Diffusion V1.2模型，這種方法可以在比競(jìng)爭對(duì)手更低的比特率下生成更真實(shí)的圖像。這種新方法被稱為 “編解碼器”，盡管它比傳統(tǒng)的 JPEG 和 AV1編解碼器復(fù)雜得多，但其性能卻令人驚嘆。

該研究表明，新方法在圖像細(xì)節(jié)的恢復(fù)上表現(xiàn)得更為出色，同時(shí)所需的訓(xùn)練成本也大大降低。研究人員發(fā)現(xiàn)，量化誤差（圖像壓縮中的核心過程）與噪聲(擴(kuò)散模型中的核心過程)非常相似，因此可以將傳統(tǒng)量化圖像視為原始圖像的噪聲版本。在這一過程中，利用擴(kuò)散模型的去噪過程來重建目標(biāo)比特率下的圖像。

在一系列測(cè)試中，迪士尼的新方法在準(zhǔn)確性和細(xì)節(jié)恢復(fù)方面都超越了之前的圖像壓縮技術(shù)。研究者們表示，他們的方法不需要對(duì)擴(kuò)散模型進(jìn)行額外的微調(diào)，能夠有效地使用現(xiàn)有的基礎(chǔ)模型。這種新型編解碼器的優(yōu)越性在于其在真實(shí)感的重建上表現(xiàn)優(yōu)異，盡管在某些情況下，它可能會(huì)出現(xiàn)幻覺現(xiàn)象，也就是生成的圖像中可能會(huì)出現(xiàn)并不存在于原始圖像中的細(xì)節(jié)。

盡管這種壓縮方法在藝術(shù)作品和普通照片的呈現(xiàn)上有一定的影響，但在一些關(guān)乎細(xì)節(jié)的應(yīng)用場(chǎng)景中，比如法庭證據(jù)、面部識(shí)別數(shù)據(jù)和光學(xué)字符識(shí)別（OCR）掃描等，幻覺現(xiàn)象的潛在風(fēng)險(xiǎn)則顯得更為重要。目前，盡管這一技術(shù)仍處于初級(jí)階段，但隨著 AI 增強(qiáng)圖像壓縮技術(shù)的發(fā)展，這一領(lǐng)域的挑戰(zhàn)將會(huì)逐漸顯現(xiàn)。

為了使圖像存儲(chǔ)更加高效，迪士尼團(tuán)隊(duì)經(jīng)過長期探索，終于推出了這一新技術(shù)。他們?cè)?Vimeo-90k 數(shù)據(jù)集上進(jìn)行訓(xùn)練，并在多個(gè)數(shù)據(jù)集上進(jìn)行了測(cè)試，結(jié)果顯示該方法在多項(xiàng)圖像質(zhì)量指標(biāo)上均優(yōu)于以往的方法。最終，研究者們通過用戶研究也證實(shí)了他們的方法在實(shí)際應(yīng)用中的優(yōu)越性。

論文:https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Supplementary-1.pdf

劃重點(diǎn):

1. ??? 迪士尼的新 AI 圖像壓縮技術(shù)能夠在更低比特率下生成更真實(shí)的圖像。

2. ?? 該方法在細(xì)節(jié)恢復(fù)和訓(xùn)練成本上表現(xiàn)優(yōu)異，且無需額外微調(diào)。

3. ?? 盡管效果顯著，但可能會(huì)生成與原圖不符的細(xì)節(jié)，存在 “幻覺” 風(fēng)險(xiǎn)。