激光反饋干涉測量(LFI)傳感器

中國AI網 2025年08月08日)智能眼鏡正在成為一類全新的可穿戴設備。盡管智能眼鏡潛力巨大,但其自然交互方式有限。注視追蹤提供了一個富有前景的解決方案,允許用戶使用他們的眼睛與設備和周圍環境進行交互。然而,當前的視頻視覺(VOG)系統面臨著諸如高功耗、笨重的傳感器以及在不同照明條件下魯棒性降低等挑戰。

為了解決上述問題,博世團隊提出激光反饋干涉測量(LFI)傳感器作為VOG的替代方案。

作為說明,激光反饋干涉測量(Laser Feedback Interferometry/LFI)是一種基于激光器內部光場受到外部目標反射光反饋影響而產生特性變化的高精度位移、振動、速度等物理量測量技術。它以其結構簡單、靈敏度高、非接觸、自準直等優點在精密測量領域備受關注。

LFI傳感器在尺寸、功率效率和環境光穩健性方面具有優勢。所提出的LFI眼動追蹤傳感器可無縫集成到輕型眼鏡中,不需要用戶特定的校準,并且可以連續全天使用。為了確保在瞳孔間距不同的大范圍用戶中進行可靠的追蹤,團隊采用了覆蓋更寬眼睛區域的細長激光束。這種設計通過準確地捕獲用戶的注視矢量來提高追蹤精度,同時在不同的光照條件下保持魯棒性。

團隊開發了一個綜合的仿真模型,集成了傳感器和眼睛模型,并通過現實世界的實驗進行了驗證,并設計了一個基于卷積神經網絡CNN的模型,以準確地估計LFI傳感器讀數的注視。研究結果表明,基于LFI的系統提供了一種魯棒、高效、用戶友好的注視交互解決方案,在自定義仿真數據集實現了較高的預測精度,誤差范圍為2.23度。這是邁向下一代智能眼鏡的重要一步。

博世開發LFI激光眼動追蹤技術用于智能眼鏡  第1張

智能眼鏡是一種新型的智能可穿戴設備,旨在增強用戶與周圍環境的交互。例如,集成了人工智能助手的眼鏡,可通過頭戴式顯示器實現虛擬疊加的AR眼鏡,以及通過自動調整鏡片的處方強度來糾正老花眼等視力缺陷的自動對焦眼鏡。

盡管有潛力,但智能眼鏡的自然交互方式有限。一種富有前景的自然交互方法是注視追蹤,它允許用戶用眼睛與設備和周圍環境進行交互。最先進的注視追蹤解決方案是VOG。然而,基于VOG的系統面臨著一系列的挑戰,包括高功耗,笨重的傳感器使集成變得復雜,以及在不同照明條件下的魯棒性降低。另外,VOG傳感器很難在不斷變化的照明條件下可靠地估計注視。

針對這個問題,博世團隊建議LFI傳感器作為VOG的替代方案來解決相關限制。LFI傳感器在尺寸、功率效率和抗環境光強度方面具有明顯的優勢。通過將LFI傳感器集成到智能眼鏡中進行眼動追蹤,團隊的目標是實現更高效和用戶友好的注視交互,促進更廣泛的用戶采用。所以在這項研究中,他們介紹了一種專門為智能眼鏡設計的LFI眼動追蹤解決方案。

他們首先通過實驗驗證了細長光束方法,并將其與動態眼動軌跡的仿真結果進行了比較。隨后,對模型的注視和眼球重建估計性能進行了驗證。為了驗證推導的傳感器模型,并在仿真模型中實現,團隊進行了一個靜眼實驗和一個動眼實驗。在實驗中,如圖1 a)所示,在距激光器1mm的焦距處安裝一個圓柱形透鏡,聚焦在f=30 mm左右的快軸,使激光束水平拉長。這導致一條激光線橫跨參與者的眼睛。

博世開發LFI激光眼動追蹤技術用于智能眼鏡  第2張

傳感器的光輸出功率< 0.05??>為700??W,低于IEC 60825-1規定的激光1級限值,因此,實驗不會對參與者的眼睛造成任何醫療危害。進一步的傳感器參數如表3所示。第一次實驗驗證了圖2 a) - c)所示的仿真結果。細長的光束穿過虹膜和瞳孔,如圖6c所示,測量時間為1.8 s。得到的譜圖如圖6a)所示。光譜圖中的兩條主要線對應于眼睛的兩個深度層:距虹膜區域約300 kHz的線和距視網膜約450 kHz的線。

博世開發LFI激光眼動追蹤技術用于智能眼鏡  第3張

在圖6b)中,頻譜圖沿時間軸平均,得到單平均傅里葉變換。傅里葉變換的兩個主峰對應于虹膜和視網膜區域。為了更精確地檢測峰值,對它們進行高斯函數擬合,如圖虛線所示。根據檢測到的峰值頻率計算距離,得到虹膜與視網膜之間的距離差為24.34 mm。這與人眼的解剖結構非常吻合,證明了傳感器測量多種眼睛特征的能力。

在第二個實驗中,如圖7a)所示,LFI傳感器與直視眼睛的角度約為45度。另外,在眼睛前面放置了一個攝像頭傳感器來觀察眼睛和細長的光束。通過將LFI傳感器放置在眼睛前方,使焦點位于虹膜后方的眼睛中心,可以抑制來自角膜的強反射,并收集整個眼球的特征。

博世開發LFI激光眼動追蹤技術用于智能眼鏡  第4張

除模型需要驗證外,對所有參與者進行模型訓練。因此,不同的眼軌跡、瞳孔軌跡以及傳感器在訓練集和驗證集之間的位置保證了模型的泛化性。通過估計瞳孔直徑和眼球中心以及注視方向,可以重建一個類似于VOG已知模型的魯棒3D眼睛模型。

目前需要14個LFI傳感器來生成網格。為了減少傳感器的數量,從而進一步減少集成工作以及系統級功耗,團隊進行了消融研究,其中僅使用傳感器的子集來訓練N32_LSTM模型。消融研究結果如表5所示,在3x3網格下,水平注視精度降低0.15度,垂直注視精度降低0.52度。

除了傳感器的潛在減少之外,模型對缺失特征的魯棒性同樣有所提高。使用細長光束的新型傳感方案顯示出良好的整體性能,但在當前系統中存在一定的局限性,使用的眼睛模型有所簡化,缺少角膜和眼晶狀體,影響激光的偏轉和聚焦。模擬同時沒有考慮到眼組織的散射行為,導致了理想化的振幅。同時,傳感器模型不包括動態眼球運動中觀察到的多普勒誘發的偏移(圖7 2)。所以,需要一個結合光學特性和擴展傳感器模型的眼睛模型。

已知單個LFI傳感器在1 kHz更新速率下消耗30 mW, 14個傳感器總計消耗420 mW。智能眼鏡通常需要~50 Hz的更新速率,允許廣泛的占空比以降低功耗。另外,減少到3 × 3的傳感器網格證明是有益的。傳感器功耗主要由數字信號處理驅動,尤其是FFT計算。隨著占空比和定制開發的集成電子設備,進一步降低功耗是可行的,估計每個傳感器的功耗約為1.5 mW。除了傳感器功耗外,執行LSTM模型會影響功率預算。

模型架構使用標準層,以便在嵌入式AI加速器高效執行。模型尺寸設計最小化,并且可以通過修剪和量化進一步減小。為了減小傳感器尺寸并使其無縫集成到時尚眼鏡中,鏡片需要小型化。一個潛在的解決方案是使用超構光學元件,因為它比類似的折射光學元件要小得多。

相關論文:Ambient Light Robust Eye-Tracking for Smart Glasses Using Laser Feedback Interferometry Sensors with Elongated Laser Beams

https://dl.acm.org/doi/pdf/10.1145/3725828

總的來說,團隊介紹了一種基于LFI傳感器的智能眼鏡眼動追蹤傳感器系統。團隊推導了傳感器模型,并開發了仿真工具,同時生成了用于訓練CNNLSTM模型的龐大數據集。人眼實驗驗證了仿真結果,顯示出相當的性能。另外,使用CNN-LSTM模型實現了RMSE注視精度為2.23度和1.82度。下一步工作將是改進傳感器的尺寸,然后建立一個頭戴演示器來收集人類數據集,以驗證實現的注視精度。