認知負荷檢測
（中國AI網 2025年08月18日）虛擬現實運動過程中認知負荷（CL）的準確檢測對于增強用戶體驗和改進交互設計至關重要。傳統的CL評估方法，如自我報告和生理測量，在VR環境中面臨挑戰。眼動追蹤已顯示出在各種人機交互（HCI）任務中作為CL可靠指標的潛力。它為VR中的預測模型提供了一個重要的鑒別特征。
在一項研究中，蘇州大學，太原理工大學和慕尼黑工業大學團隊探討了使用可解釋的機器學習方法和眼動追蹤技術檢測VR運動引起的CL的可行性。用戶研究評估了五種獨特的無步態運動技術。統計分析顯示，運動技術的CL水平不同。另外，研究人員利用眼動追蹤數據開發了幾種用于CL檢測的機器學習模型，其中Light Gradient Boosting machine （LightGBM）的準確率最高，為0.78。SHAP方法用于分析特征的重要性，以提供可解釋性，并為機器學習模型的決策過程提供見解。
研究結果強調了使用基于眼動追蹤的機器學習技術作為VR中認知負荷檢測的實用方法的潛力，并展示了如何利用眼動追蹤數據來改善用戶交互并優化基于認知負荷分析的沉浸式多媒體體驗。
VR技術在教育和娛樂等各個領域的普及程度激增。VR提供了獨特的能力，允許用戶沉浸在模擬環境中，并與VR中的3D對象進行真實的交互。特別是，VR運動技術在提供無縫和引人入勝的用戶體驗方面發揮著至關重要的作用，使用戶能夠在虛擬世界中有效地導航。
但必須認識到，相關運動技術可能會對用戶產生重大影響（例如認知需求），可能會影響他們在VR沉浸期間的表現和滿意度。所以，在VR運動環境中準確評估用戶體驗，特別是認知負荷（CL）是至關重要的。這項努力使得研究人員和開發人員能夠有效地評估和改進運動技術。
研究人員在CL評估研究領域進行了廣泛的研究，包括采用主觀自我報告測量（如問卷調查）和生理測量（如腦電圖EEG、心率變異性HRV、皮電活動EDA和瞳孔測量）等方法。然而，相關方法存在局限性，主要是在應用于VR場景時，主觀自我報告測量可能無法捕獲用戶在虛擬現實活動中經歷的全部認知過程。由于需要專門的設備和設置的復雜性，在VR中使用EEG和其他生理測量可能具有挑戰性。
眼動追蹤作為一種可靠且非侵入性的方法，用于在VR環境中評估CL是一個尚未充分探索的領域。大量研究表明了眼動作為各種HCI任務中CL指標的有效性，當然，它們主要是針對非VR情境。重要的是，眼動比自我報告和腦電圖更有優勢，因為它們不太容易受到偏見和人為因素的影響。
同時，先前的研究已經證明，眼動作為機器學習模型的特征具有信息性，特別是在HCI任務中檢測各種人為因素時，最顯著的是CL，以及與CL密切相關的視覺感知和視覺搜索模式。先前的研究強調了眼球運動在捕獲微妙人類行為方面的可靠性，而相關行為可能很難用其他測量工具（例如自我報告）觀察，特別是在VR環境中。
團隊指出，之前的研究尚未嘗試在VR沉浸過程中單獨使用眼動追蹤數據來檢測CL，特別是在VR運動的背景下。縮小這一研究差距具有相當重要的意義，因為它可以為改進VR運動技術的設計提供見解，從而為用戶提供更優越，更滿意的體驗。
蘇州大學，太原理工大學和慕尼黑工業大學探討了利用機器學習方法結合眼動追蹤數據檢測VR運動引起的用戶CL的可行性。這一研究解決了三個關鍵的研究問題：
不同的VR運動技術如何影響用戶體驗，特別是關于CL？
能否僅基于眼動數據建立預測模型，準確檢測用戶在VR運動過程中的CL水平？
眼動追蹤功能如何揭示和建立與不同水平CL的聯系？
為了解決所提出問題，團隊進行了一項包括五種運動條件的比較用戶研究，并收集眼球追蹤傳感器數據和問卷來評估用戶體驗。研究結果表明，不同的運動技術在不同的維度上對用戶的影響是不同的，而這可以通過評估用戶體驗、暈動癥和CL的問卷來證明。
值得注意的是，操縱桿為參與者提供了更好的體驗（見圖3）。這一發現與之前的研究一致，即操縱桿運動比手臂循環和點拽更少疲勞，同時提供了更好的控制和樂趣。令人驚訝的是，沒有觀察到運動技術對參與者的暈動癥有顯著影響。在所有情況下，參與者報告的暈動癥程度相似，所有子量表（癥狀）的得分都低于2分（見圖4）。
之前的研究表明，與瞬間移動相比，基于操縱桿的運動可能會導致更多的暈動癥。但在團隊地研究結果中，與傳送相關的暈動癥優勢的意外缺失，即引起更少的暈動病并提供更好的用戶體驗，這可能歸因于幾個因素。在研究中，大多數參與者都有不同程度的VR或游戲經驗，這可能會影響他們對暈動癥的易感性。另外，在虛擬環境中相對較短的導航時間（約2分鐘）可能有助于缺乏明顯的暈動癥影響。
在CL方面，參與者報告使用操縱桿和傳送運動技術時的CL低于使用其他三種運動技術時的CL。盡管之前的研究有限，但團隊發現可以通過考慮用戶的整體體驗來解釋。具體來說，更好的用戶體驗與較低的CL相關，這解釋了在操縱桿條件下報告的較低CL。
易于理解和操作操縱桿為參與者提供了更直觀和更低要求的運動體驗，從而降低了VR運動期間的CL。使用一組全面的眼動追蹤特征訓練的LightGBM模型在檢測CL方面達到了0.78左右的顯著準確率。這一性能優于之前的研究。值得注意的是，由于缺乏在VR（運動）環境下應用眼動追蹤進行CL評估的先前研究，因此無法與先前的研究進行廣泛的比較。
不過，這一研究為VR運動場景中CL的精確和非侵入性評估提供了一條實用而有價值的途徑。另外，團隊利用SHAP事后模型解釋方法對不同眼動追蹤特征的辨別力進行了探索，并得出了有趣的發現。在檢查的各種眼球追蹤特征中，瞳孔直徑和眨眼頻率是最有信息的CL指標。隨后，跳變特征對模型輸出同樣有顯著的影響。這與先前的研究一致，并強調瞳孔直徑、眨眼頻率和掃視是各種傳統HCI任務中CL的可靠指標。
同時，SHAP揭示了每個眼動追蹤特征如何影響CL預測的black box。它揭示了CL水平與眼球追蹤特征之間的潛在相關性。特別是，瞳孔直徑特征對預測模型產生了積極的影響，從圖7中顏色從藍色變為紅色可見一斑。
較高的瞳孔直徑（紅色）值有助于預測CL- h，提示VR情境下瞳孔直徑與CL之間可能存在正相關。同樣，團隊觀察到掃視特征（特別是掃視持續時間和幅度）對模型輸出的積極影響。這一發現暗示了跳眼特征與CL之間的正相關，并且與先前的研究一致，表明CL與瞳孔直徑、掃視持續時間和振幅呈正相關。
另外，研究結果可能表明眨眼頻率與CL之間存在負相關。如圖7所示，較高（紅色）的眨眼頻率有助于預測CL-L，而較低（藍色）的眨眼頻率有助于預測CL-H。眨眼頻率與CL之間的潛在負相關與先前的研究結果一致。一致的結果加強了團隊研究結果和方法的有效性。
相關論文：An Explainable Machine Learning Approach for Cognitive Load Detection in Virtual Reality Using Eye Tracking Data
https://dl.acm.org/doi/pdf/10.1145/3731715.3733275
總的來說，研究系統地檢查不同運動技術對用戶體驗的影響，特別是CL，并展示了在VR運動中使用眼動追蹤數據與機器學習方法相結合準確預測CL的可行性。值得注意的是，結果表明CL是可預測的，所有分類模型的準確率都高于機會水平。特別是LightGBM，其準確率超過0.78，優于其他模型。
另外，模型可解釋性的SHAP方法為在沉浸式VR環境中評估CL時特定眼動追蹤特征的辨別能力提供了有價值的見解。總之，通過利用眼動追蹤作為一種客觀且非侵入性的CL評估工具，研究引入了一種新穎而有效的方法來評估VR運動環境下的用戶體驗。這一進步反過來又促進了用戶友好運動技術的進步，增強了用戶在VR環境中的參與度和整體滿意度。
