減少無線傳輸的通信開銷

（中國AI網 2024年12月03日）對于VR，360度圖像在實現沉浸式體驗和提供全景視圖方面發揮著關鍵作用。然而，360度圖像產生的海量數據對網絡存儲和帶寬提出了挑戰。針對這個問題，澳大利亞新南威爾士大學團隊提出了一種基于激活圖的矢量量化（AM-VQ）框架，以減少無線傳輸的通信開銷。

所提出的AM-VQ方案使用深度神經網絡和向量量化來提取和壓縮語義特征。其中，AM-VQ框架利用激活圖自適應量化語義特征，減少了量化操作帶來的數據失真。為了進一步提高360度圖像的重建質量，團隊結合了生成式對抗網絡鑒別器的對抗訓練。

數值結果表明，所提出的AM-VQ方案比現有基于深度學習的編碼方案和傳統的編碼方案具有更好的性能。

360度圖像是一種新興的媒體格式，可以提供不同場景的全景視圖。這種格式允許用戶從不同的角度探索環境，從而實現全面的視覺體驗。

在VR應用中，360度圖像和視頻是主要的內容來源。與傳統的平面圖像相比，360度圖像包含的內容量要大得多，而這在網絡存儲和帶寬方面帶來了一系列挑戰。由于它們的大小和復雜性，相關圖像需要更高效的存儲和網絡帶寬解決方案。

為了應對挑戰，研究人員探索了更有效的圖像壓縮技術和傳輸解決方案。360度圖像的傳統壓縮技術通常使用眾所周知的編碼標準，如JPEG、HEVC和VP9。相關方法的主要目標是通過利用冗余來減小圖像數據的文件大小，同時保持視覺質量。

由于360度圖像的獨特特性，將傳統的壓縮方法應用于360度圖像可能具有挑戰性。存儲和傳輸大量數據在存儲和帶寬方面提出了重大挑戰。另外，360度圖像中的不規則幾何形狀和畸變需要專門的技術來有效地管理數據。

基于深度學習的壓縮方法使用深度神經網絡作為核心結構，并在解決與圖像壓縮相關的挑戰方面顯示出巨大的潛力。它們有效地處理圖像的空間信息，并通過分層方法捕獲局部和全局特征，實現多尺度特征提取。注意機制和生成模型的集成，如變分自編碼器（VAEs）和生成對抗網絡，進一步提高了壓縮效率。

另外，遷移學習和預訓練策略的應用顯示出前景，特別是在360度視覺的有限注釋數據場景中，它們促進了傳統圖像域知識的適應，加速了模型收斂，從而提高了壓縮性能。在高壓縮比下，傳統技術和深度學習方法在圖像壓縮方面都有局限性。對于高壓縮率，傳統的方法通常會導致圖像質量的顯著下降，特別是在保留細節和紋理方面。同時，相關技術可能不足以解決全景圖像固有的空間扭曲。

深度學習方法面臨著在極高壓縮比下保持重建質量的挑戰。在模型泛化能力有限或缺乏綜合訓練數據的情況下，挑戰變得更加明顯。

在研究中，澳大利亞新南威爾士大學提出了一種基于激活圖的矢量量化（AM-VQ）框架，并旨在以最小的傳輸開銷實現高效的360度圖像語義通信。

AM-VQ框架專門提取和壓縮特征，以盡量減少傳輸的比特數。具體地說，采用深度神經網絡提取多尺度圖像特征，隨后使用矢量量化（VQ）方法對其進行量化，從而大大降低了360度圖像的傳輸成本。

另外，團隊提出的AM-VQ方案引入了一種自適應量化語義特征的激活圖，從而減少了量化引起的數據失真。

相關論文：Activation Map-based Vector Quantization for 360-degree Image Semantic Communication

總的來說，AM-VQ框架結合深度神經網絡和VQ提取和壓縮語義特征，然后使用激活圖自適應量化語義特征。利用AM-VQ技術將一部分語義特征向量壓縮成一組相應的語義特征索引，這減少了傳輸信道消耗，同時保證了360度圖像的傳輸質量。

另外，對抗訓練和PatchGAN鑒別器用來提高接收圖像的質量。數值結果表明，在360度傳輸任務中，與Deep編解碼方案和傳統編解碼方案相比，團隊提出的AM-VQ方案具有更好的性能。