具備遮擋能力的全息AR顯示方案
（中國AI網 2025年08月25日） 全息顯示能夠生成理想的3D虛擬圖像，近年來取得了快速進展。然而，由于全息虛擬圖像僅簡單地疊加在現實世界，導致對比度和可見性下降。相關顯示器在提升AR場景圖像質量方面依然面臨挑戰。在一項研究中，韓國首爾大學團隊提出了一種具備遮擋能力的全息AR顯示方案，并論證了其通過遮擋增強AR圖像的能力。
研究人員將一種能夠遮擋現實世界特定區域的光學遮擋結構集成到全息AR顯示器中。所提出的系統采用帶有數字微鏡器件（DMD）的折疊4f光學系統，并能夠依次充當現實世界遮擋掩模和主動式傅里葉濾波。這種方法將傳統上呈現半透明的全息圖像轉變為視覺上不透明的圖像，同時消除了像素化全息顯示器中不需要的噪點。另外，主動式傅里葉濾波通過時分復用操作擴展了虛擬圖像的視場，并支持一種在處理稀疏虛擬內容時表現尤為出色的新穎二元全息圖優化算法。
實驗顯示，這一方案成功實現了不透明全息3D圖像的呈現，顯著提高了對比度和圖像質量，同時生成了具有光學投射陰影的高度逼真的3D AR場景。
AR是將現實環境與虛擬信息相結合的技術，旨在輔助用戶的日常生活，包括導航、娛樂和教育。為可視化AR環境，業界已開發出兩類AR顯示器：視頻透視式（VST）和光學透視式（OST）顯示器。VST顯示器通過攝像頭捕獲現實世界，并通過計算將其與虛擬信息融合以創建AR場景。相比之下，OST顯示器則使用透明的光學合束器，將虛擬信息光學疊加到真實場景來呈現AR環境。
由于現實世界是直接透過透明合束器觀察到，業界通常將OST顯示器視為終極目標。然而，傳統OST顯示器中虛擬信息的視覺呈現不完善阻礙了更廣泛的應用。相關視覺缺陷通常表現為不自然的3D圖像和因對比度受損而呈現半透明的圖像。前一個問題源于缺乏視覺調節線索，而這使得能夠重建具有完整焦點線索的光波前的全息技術成為一種理想的解決方案。后一個問題則源于現實世界的環境光。為解決這個問題，必須在AR設備中集成能夠阻擋現實物體光線的額外遮擋光學器件。
遮擋是指前景物體遮蔽背景物體的現象。現實物體之間的遮擋由前景物體固有的材質屬性決定。根據前景材料的透明度和粗糙度，來自背景物體的光線可能反射、散射或透射，從而形成不透明或透明的圖像。但在傳統的OST顯示器中，虛擬圖像無法與背景光相互作用。來自現實世界的背景光持續穿透前景虛擬圖像，導致其對比度下降。這一限制同時導致了深度模糊的AR呈現，因為遮擋是人類視覺中最強有力的深度線索之一。
同樣的限制適用于能夠提供具有連續深度譜的高分辨率圖像的全息顯示器。盡管基于學習的計算全息圖（CGH）合成方法加速了全息顯示器的進步（特別是在高質量3D圖像呈現方面），但AR場景依然受到背景光的影響。所以對于AR設備，應采用一種能與現實世界背景光相互作用的額外遮擋系統。
在AR顯示器中實現遮擋的復雜度取決于所采用的遮擋方法。一種稱為“軟邊緣遮擋”的方法直接將空間光調制器（SLM）放置在眼睛前方以阻擋現實世界的光線。由于其結構簡單和系統緊湊，這一方法已在商業產品中得到應用。然而，軟邊緣遮擋總是呈現模糊的掩模，因為人眼聚焦于遠處的物體，而掩模卻非常靠近眼睛，難以使其清晰對焦。
實現理想遮擋的另一種方法是“硬邊緣遮擋”。這一方法利用4f系統，將SLM置于系統內部，以在特定深度生成主動掩模。通過將虛擬圖像的橫向和深度位置與真實場景掩模對齊，虛擬圖像感知為一個能與現實世界進行光學相互作用的物理對象。利用這種與現實世界光線的相互作用，系統可以控制透明度和對比度，甚至能生成人造陰影。
在另一方面，全息技術已成為相關領域研究者的終極目標和長期挑戰，特別是動態全息圖，例如SLM有限的空間帶寬積（SBP）以及全息重建中的散斑噪點。另外，從僅含強度的目標生成CGH（又稱為相位恢復問題）是一個不適定的挑戰，使得優化全息圖的合成變得困難。值得注意的是，梯度下降算法和深度學習技術的最新進展在解決基于分層CGH合成中的相位恢復和散斑噪點方面做出了重大貢獻，提高了重建全息圖像的質量。然而，為獲得清晰的全息呈現，減少其他類型的噪點同樣重要。
傳統的全息顯示器使用帶有靜態傅里葉濾波器的4f系統來消除相關噪點。盡管最近關于相位型全息圖的研究證明了無需傅里葉濾波器操作的可行性，但僅通過CGH合成來抑制DC和高階噪點會給SLM帶來巨大負載，使得生成高質量3D呈現頗具挑戰性。
針對上述問題，韓國首爾大學團隊提出了一種具備遮擋能力的全息AR顯示器和一種基于主動傅里葉濾波的二元CGH合成算法。 利用遮擋與傅里葉濾波光學在結構上的相似性，系統在折疊結構中通過單個DMD集成了這兩種功能，從而減小了整體系統尺寸。
所提出的基于主動傅里葉濾波的算法在重建局部化虛擬內容方面實現了卓越的性能。在光學實驗中，團隊證明了使用算法合成的二元CGH可以生成散斑抑制的高質量虛擬圖像。通過支持遮擋，AR場景中全息圖像的深度順序、可見度和對比度均得到顯著提升，實現了逼真的AR呈現。另外通過融入陰影投射，AR環境的真實感得到進一步增強。
然而，系統在多個方面仍有改進潛力。團隊將遮擋作為一種工具來模擬真實場景與虛擬全息圖像之間的光學相互作用。通過處理遮擋和生成陰影，他們成功增強了AR圖像的真實感。盡管如此，這一方案依然有進一步提升的空間。例如，與光源的相互作用不僅限于陰影投射。它同時會影響物體的亮度，根據物體與光源的距離產生相對明亮和暗淡的區域。同樣地，現實物體與虛擬物體之間的相互作用不僅產生遮擋，而且會根據前景物體的材料屬性產生其他效應。另外，創建逼真的AR場景需要考慮與光學相互作用相關的其他方面，例如紋理、光散射等。
在當前使用現成組件開發的原型中，研究人員的主要目標是論證所提出系統的可行性。為實驗方便，在20mm適眼距下將視窗擴展至約10mm；然而，這種配置導致透視視場約為9°，虛擬圖像視場約為4°。所述限制很大程度上歸因于所用透鏡的焦距以及所采用的鐵電液晶硅基（FLCoS）器件有限的SBP。盡管如此，所提出的架構本質上是可擴展的。通過采用高數值孔徑的超透鏡并利用高階項，團隊預計可實現的透視視場將超過50°，虛擬圖像視場將超過10°，同時可以減小系統尺寸。另外，集成動態偏轉器有可能將透視視場和虛擬圖像視場分別進一步擴展至約70°和30°，但這需要付出額外的時分復用成本。
在實現中，他們使用DMD同時進行遮擋和主動傅里葉濾波，因為DMD板在精確同步方面具有優勢。然而，所采用的DMD是一個對角傾斜的微鏡陣列，提供+12°和-12°兩種角度的狀態。為補償這種固有的傾斜，DMD面板在全局上沿垂直和水平軸進行了傾斜。盡管這種全局傾斜使入射光能反射回凸透鏡，但傾斜的面板給系統帶來了一定的問題。
一個問題是深度隨空間位置的變化。由于DMD是傾斜的，到凸透鏡的距離隨空間位置而變化，導致真實場景和虛擬圖像的深度發生偏移。另一個問題是由DMD面板像素化結構衍射引起的真實場景色差。盡管衍射從根本上源于DMD的像素化結構，但全局傾斜會放大所需光與衍射光之間的分離。為解決此問題，可以用標準的平板SLM（例如僅振幅型LCoS）替代DMD，但由于難以與其他設備精確同步，實現中未使用此類器件。不過，研究人員相信通過先進的電路設計可以實現與標準平板SLM的同步。
另一方面，所提出的系統采用固定在傅里葉平面的DMD面板，提供光學無限遠處的二維遮擋掩模。因此，系統能為位于無限遠處的虛擬圖像提供精確的硬邊緣掩模，而對于位于較近距離深度的虛擬圖像，則應用相對模糊的掩模。研究人員計算了針對此類深度不匹配情況的合適掩模圖案，但理想的遮擋只能通過虛擬內容與相應掩模之間的深度匹配來實現，而這需要三維遮擋。最近一項利用基于液晶的變焦透鏡實現變焦遮擋的研究表明，通過光學操控掩模深度同時保持真實場景深度，基于折疊光學的3D遮擋是可行的。這種方法可以直接應用于首爾大學團隊的研究，并有助于實現更逼真的AR呈現。另外，包括光場、變焦和多焦顯示在內的多種3D光學方案都具有實現3D遮擋的潛力。
所提出的設計利用折疊4f光學進行遮擋和傅里葉濾波。然而，真實場景在通過4f系統后發生了空間倒置。因此，所展示的實驗結果在由攝像頭捕獲后旋轉了180°以補償倒置的真實場景。這種空間倒置可以通過采用額外的4f光學系統或施密特-佩亨棱鏡進行光學校正。另一個問題在于真實場景的深度偏移。在設置中，來自真實場景的光線在被4f光學系統中繼后，傳播了額外的光路。因此，真實場景的深度向更遠處偏移了相當于額外傳播距離的量。由于系統的緊湊性，在實現中額外傳播距離僅約5厘米，而這在大多數情況下可以忽略不計。
相關論文：Enhancing Realism in Holographic Augmented Reality Displays through Occlusion Handling
https://arxiv.org/pdf/2505.00942
在團隊提出的系統中，傅里葉濾波和真實場景掩模通過折疊4f系統中的單個DMD實現。這種設計使光學元件和設備的數量減少了一半。盡管如此，進一步壓縮整體系統尺寸依然有潛力。圖10展示了一個緊湊版本方案的示意圖，其中包括放置在DMD前方的附加微透鏡陣列。
為減小整體尺寸，笨重的合束光學元件可以用纖薄的波導合束光學元件替代。考慮到波導全息AR顯示器的最新進展，系統可以從此方法中顯著受益。為獲得更緊湊的外形尺寸，可以采用焦距更短的凸透鏡，從而減小元件之間的間隙。靠近DMD放置的MLA能夠實現光場遮擋，允許將真實場景掩模放置在任意深度而不犧牲外形尺寸。另外，在緊湊版本中省略HWP，假設全息顯示器使用僅相位型LCoS。由于所提出的支持遮擋的架構同時兼容振幅型和相位型全息顯示器，它在選擇緊湊設備方面提供了靈活性。
