超扁平和輕量級的眼動追蹤系統(tǒng)
（中國AI網(wǎng) 2025年05月28日）對于XR頭顯，眼動追蹤攝像頭是一個重要的組件。在一項研究中，印度理工學(xué)院馬德拉斯分校，美國萊斯大學(xué)和北卡羅來納大學(xué)教堂山分校團隊提出了一個緊湊的眼動注視追蹤器，并使用了基于掩模的無透鏡攝像頭。
所述攝像頭與共同設(shè)計的輕量級深度神經(jīng)網(wǎng)絡(luò)算法相結(jié)合，能夠放置在離眼睛非常近的地方，可在眼鏡框架內(nèi)，從而形成超扁平和輕量級的眼動追蹤系統(tǒng)。團隊收集了大量的近眼無透鏡攝像頭測量數(shù)據(jù)，以及校準的注視方向來訓(xùn)練注視點追蹤網(wǎng)絡(luò)。
通過真實和仿真實驗，團隊表明所提出的注視點追蹤系統(tǒng)的性能與傳統(tǒng)的基透鏡追蹤器相當，同時保持了更平坦和更緊湊的形狀參數(shù)。其中，注視回歸器具有實時（>125 fps）的注視追蹤性能。
眼動追蹤在增強現(xiàn)實和虛擬現(xiàn)實系統(tǒng)中發(fā)揮著至關(guān)重要的作用。例如，通過精確追蹤用戶在任何給定時間所看的位置，眼動追蹤可以促進更自然和更直觀的交互，例如基于注視的選擇和控制界面，從而增強用戶與虛擬環(huán)境的交互。
眼動追蹤同時可以優(yōu)化系統(tǒng)資源的使用，只在用戶目光對焦的區(qū)域渲染高分辨率圖形。這種技術(shù)稱為注視點渲染，可以顯著提高顯示性能]。除了通過選擇性按需渲染提高整體圖形性能外，注視點渲染同時顯著減少了計算負載，允許更流暢和更身臨其境的AR/VR體驗。
盡管近年來發(fā)展迅速，但現(xiàn)有的眼動追蹤技術(shù)依然面臨著重大挑戰(zhàn)，并影響了它們在各種應(yīng)用中的實用性。除了需要更高的準確性和可靠性外，眼動追蹤組件的物理尺寸通常限制了它們與可穿戴AR/VR頭顯的集成，并帶來了重大的設(shè)計問題。
具體來說，光學(xué)元件，如透鏡、濾光片和它們的外殼直接影響設(shè)備的整體尺寸。用于安裝傳感器和相關(guān)電子設(shè)備的結(jié)構(gòu)，包括保護組件的外殼，則進一步增加了系統(tǒng)的體積。另外，由于眼動追蹤會泄露敏感的個人信息，隱私問題同樣隨之出現(xiàn)。最后，眼動儀需要低延遲，以確保交互式應(yīng)用程序的響應(yīng)性和沉浸式用戶體驗。
相關(guān)障礙需要硬件和軟件的不斷進步，以增強眼動追蹤技術(shù)的多功能性和用戶友好性。所以，印度理工學(xué)院馬德拉斯分校，美國萊斯大學(xué)和北卡羅來納大學(xué)教堂山分校團隊提出了一種無透鏡的視線追蹤原型，而它具有小尺寸、便宜、輕便和隱私保護等優(yōu)點。
計算光學(xué)成像技術(shù)的發(fā)展突破了傳統(tǒng)光學(xué)系統(tǒng)依賴復(fù)雜的透鏡組這一局限，不再受限于光學(xué)系統(tǒng)的大小、形狀和焦距等物理參數(shù)。無透鏡成像主要利用光學(xué)信號與算法的結(jié)合，通過算法來補償光學(xué)系統(tǒng)的不足。無透鏡系統(tǒng)的成像過程不需要透鏡的參與，而是通過衍射光學(xué)元件對光線進行調(diào)制，再通過數(shù)學(xué)方法進行圖像的重建。
在無透鏡成像中，透鏡由薄、輕、便宜的光學(xué)編碼器取代，從而產(chǎn)生了扁平、輕量化的小型化攝像頭。無透鏡攝像頭使用先進的計算重建算法從捕獲的傳感器測量中恢復(fù)場景。對于合理設(shè)計的編碼器，測量結(jié)果可以包含足夠的信息，并能夠使用后處理算法恢復(fù)場景圖像，將傳感器測量結(jié)果解復(fù)用，以重建場景的清晰圖像。
盡管圖像的數(shù)字后處理是諸如畸變校正、合成景深和去噪等任務(wù)的標準，但無透鏡攝像頭的根本不同之處是，后處理是光學(xué)成像硬件和算法軟件一起設(shè)計的成像系統(tǒng)設(shè)計的一環(huán)。另外，由于無透鏡攝像頭在測量中間接編碼信息，然后通過求解逆問題計算提取信息，它們同時為眼動追蹤測量中的隱私提供了支持。
同時，無透鏡攝像頭固有地捕獲3D信息，這確保了更準確的預(yù)測。在研究中，團隊采用無透鏡攝像頭設(shè)計配合輕量級卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)緊湊的眼動追蹤。
具體來說，他們使用近紅外PhlatCam來開發(fā)超薄近眼追蹤器。使用所述系統(tǒng)，研究人員收集了第一個由近20000對無透鏡捕獲和校準注視矢量組成的大型數(shù)據(jù)集。
團隊進一步提出了一種兩階段的方法來估計無透鏡捕獲的注視點，并評估了這種方法在數(shù)據(jù)集的有效性。實驗表明，無透鏡攝像頭允許構(gòu)建具有高保真注視估計的緊湊注視追蹤器。
相關(guān)論文：FlatTrack: Eye-tracking with ultra-thin lensless cameras
總的來說，團隊為無透鏡攝像頭提出了一個視線追蹤框架。由于其超薄的外形和輕便的性質(zhì)，無透鏡攝像頭可用于賦能增強現(xiàn)實/虛擬現(xiàn)實等領(lǐng)域。然而，現(xiàn)有的注視估計研究并沒有充分利用這一優(yōu)勢。
充分利用無透鏡攝像頭的優(yōu)勢進行注視點追蹤的瓶頸之一是缺乏數(shù)據(jù)集。為了解決這個問題，團隊提出了FlatTrack數(shù)據(jù)集。使用自定義的無透鏡注視估計管道在FlatTrack數(shù)據(jù)集進行評估，團隊表明無透鏡注視估計可以具有高保真度。另外，相關(guān)注視估計算法可以在以非常高的速度（大約125 fps）在典型的GPU中運行。
