XR技術，以及AI在醫學和康復領域的應用
（中國AI網 2025年08月07日）擴展現實技術正在深刻地改變醫學領域，尤其是在疾病診斷、康復過程、以及外科手術的計劃和執行方面。例如，AR可在微創手術中提供支持，可視化患者身體的內部解剖結構，并提供實時反饋，以提高準確性，保持外科醫生的注意力，降低錯誤的風險。另外，XR技術可用于開發術前計劃或通過嚴肅游戲培訓外科醫生的應用程序。AI在醫學圖像處理、解剖結構識別和3D模型重建，以及用于患者監測和疾病診斷的生物數據分析方面都有應用。在康復方面，XR和人工智能可以實現個性化治療計劃，通過沉浸式環境提高患者參與度，并提供實時反饋以改善康復結果。
在一篇刊文中，意大利薩蘭托大學，立陶宛維陶塔斯馬格納斯大學和英偉達團隊綜述介紹了XR技術，以及AI在醫學和康復領域的應用。
XR一詞指的是一個包含多種技術的超集，其中包括將用戶沉浸在一個三維數字世界中的VR虛擬現實；通過疊加虛擬對象和信息來增強用戶對現實世界感知的AR增強現實；以及不僅僅是疊加，同時將虛擬對象錨定在現實世界中的MR混合現實。
特別是AR，它可以作為一種有用的引導工具，尤其是在微創手術中。它能提供患者解剖結構的“X光透視”效果：通過將虛擬器官重建疊加在患者身體，它能夠補償內部解剖結構可視性不足的問題（這個問題正是使得微創手術比開放手術更困難的主要原因之一）。另外，通過提供實時的視覺和聽覺反饋以及其他各種情境相關的指示，它能夠保持外科醫生的注意力警覺，從而顯著降低出錯的可能性。
另外，XR的所有三個分支（VR/AR/MR） 都可以用于開發術前規劃應用或以游戲形式用于外科醫生的培訓和教育。
AI在機器學習和深度學習等所有分發展 為醫學的各個領域帶來了諸多創新。在外科領域，它徹底改變了從手術準備到術后的所有階段，而這主要歸功于圖像處理、分割和模式檢測方面的進步，使得能夠在CT和MRI圖像中自動且越來越精確地識別解剖結構，并重建可靠的三維模型。
AI的另一個重要應用領域是分析由特殊傳感器或可穿戴設備檢測到的生物信號和數據，如心電圖、腦電圖、心率變異性、皮電活動等。AI使得能夠改進那些通常基于歷史分析和自適應閾值方法的準確性，提前檢測到疾病的發作或惡化。相關能力對于老年人和慢性病患者的持續監測，以及精神疾病的診斷非常有用。
在臨床實踐中使用AI做出的決策可以為證明選擇、追蹤和驗證決策提供依據，進一步改進算法，更重要的是，能夠實時探索新的臨床事實
AI和XR同時在康復領域找到了應用，特別是在肌肉骨骼康復、中風后康復和認知康復方面。它們用于制定個性化治療計劃、根據生理參數預測患者參與度、通過沉浸式環境增強參與度，并提供實時反饋以改善運動功能和康復效果。
XR進一步應用于創新的治療方法，例如支持成癮康復的治療和針對自閉癥或注意力缺陷多動障礙兒童的康復項目，幫助增強參與度并促進技能發展。
最后，XR可以通過沉浸式分散注意力來減輕住院患者的痛苦并改善福祉，從而減少疼痛和焦慮。它可以利用AI的支持，使用來自可穿戴傳感器的數據來監測和預測壓力水平及情緒狀態，從而提供個性化干預。相關技術同時通過交互式娛樂提高生活質量，幫助患者準備醫療手術或院后康復，并通過將醫療治療轉變為更引人入勝的體驗來減輕兒童的壓力。
Pellegrino 等人（2025）分析了數字孿生 在醫療保健領域的應用。數字孿生定義為復制物理對象行為并在相同輸入條件下產生相同輸出的虛擬表示。相關研究建立了一個包含11個維度的概念框架。數據維度強調了強大的大數據價值鏈對于管理持續數據流和確保物理實體準確建模的重要性。狀態 維度對數字孿生類型進行了分類，但指出了它們在可比性上可能存在的不兼容性，而成熟度維度則側重于其性能水平。
數字孿生之間的結構關系（特別是在分層配置中）及其動態更新是探索的關鍵領域。建模、功能、傳感器和用戶交互（User 等維度表明，盡管提供了見解，但通用分析可能缺乏操作精度。研究主張制定協調一致的協議，解決倫理、規范、架構和建模標準，以實現更好的互操作性和成熟度評估。研究人員同時呼吁為特定領域（如醫療保健）建立全面的基準，確保符合倫理法規并保障數據主權。盡管存在局限性，但他們為推進跨領域的數字孿生研究奠定了統一知識框架的基礎。
其他論文則介紹了用于診斷的工具和平臺，如下頜骨和膝關節軟骨的案例。用于下頜骨的工具基于增強現實技術，結合無標記和有標記追蹤技術，可協助外科醫生進行顳下頜關節改變的臨床評估。在使用Hololens 2對一名志愿者進行的測試中，通過虛擬標記捕獲了張口和閉口時下頜運動的水平和垂直偏移，結果與標準的運動學測量相比顯示出良好的匹配度，尤其是在使用立方體多目標跟蹤器時。
膝關節軟骨工具采用機器學習技術，基于從138個膝蓋的MRI和CT掃描中提取的影像組學特征，對退行性和健康的膝蓋進行分類：該方法將紋理和形狀相關特征識別為關鍵預測因子，并通過評估不同分割變化下的穩定性來優化它們。實驗結果表明，該方法在膝骨關節炎分類方面具有高準確性，證明了其在疾病早期階段診斷和個性化治療中的潛力。
同樣與診斷領域相關的有專注于醫學圖像分割的論文（Munteanu 等人, 2025）和（Chen 等人, 2025）。前者采用人工神經網絡通過三個步驟識別超聲圖像中的惡性乳腺腫瘤：增強、分割和分類。在增強階段，使用生成對抗網絡 創建新圖像以增強有限且不平衡的數據集。然后利用UNet模型進行圖像分割。最后，使用經典的卷積神經網絡（CNN） 進行圖像分類。在從600名女性患者收集的數據集，整個流程達到了86%的準確率。
另一項研究則介紹了一種可視化腎臟內部結構并識別腎結石的方法。它采用了三種分割算法來選擇最準確的分割結果，用于后續的配準過程，將結果對齊并組合，生成腎臟解剖結構的全面3D表示。使用Swin UNETR和ResU-Net分別實現了腎臟分割最高得分95.21%和結石分割最高得分87.69%。對于集合系統和腎實質，ResU-Net和3D U-Net取得了相似的分數。在準確可視化腎臟內部結構和精確定位腎結石方面取得的成果，有助于改善經皮腎鏡取石術的診斷和術前規劃。
有兩篇論文專注于生理信號的分析。De Marchi 等人（2025）分析了一個基于可穿戴平臺采集的心電圖（ECG）、呼吸、皮電反應和光電容積脈搏波信號來評估壓力水平的多參數模型。對衍生特征的統計分析顯示，每種生理信號中至少有兩個顯著特征，它們對表征壓力反應的不同方面有不同的貢獻。四十名健康參與者參與了實驗，并創建了兩個數據集：絕對數據集（捕獲壓力強度水平）和差異數據集（突出壓力變化）。皮電反應和光電容積脈搏波信號總體上最具影響力。心電圖 特征顯著性較低，但與區分壓力水平的上升和下降相關。呼吸特征僅在絕對數據集中與區分壓力組別相關。
Apicella 等人（2024）研究了一種基于腦電圖和心電圖信號的數據融合方法，用于實時評估恐高癥的可行性。參與者在一個峽谷的虛擬重建環境中逐漸暴露于不斷增加的高度水平。在受試者內實驗中，深度神經網絡 實現了最佳分類準確率（87.1%±7.8%）。在跨受試者方法中，與將腦電圖和心電圖結合的數據融合以及基于恐高癥嚴重程度對參與者進行分組的策略相比，域適應策略是最有效的，其分類準確率提高了20%以上。隨機森林在嚴重恐高癥組中提供了最佳分類準確率，平均為63.6%。
在康復領域，Lau 等人（2025）為針對老年癡呆癥患者的基于VR的懷舊療法提出了一個概念模型，該模型基于沉浸感、交互性、想象力和印象。與作業治療師進行的試點測試表明，基于模型的虛擬環境可能引發積極的態度和動機。關于沉浸感，治療師贊賞VR提供的空間感和真實感體驗，強調了其模擬具有深度和聲音的懷舊環境的能力。擔憂包括患者可能因沉浸式無意識狀態而跌倒的風險、設備對老年人來說過重，以及需要設置安全措施并控制單次療程時間在10-15分鐘。
關于交互性，治療師贊揚了VR相比傳統懷舊訓練的吸引力和交互性。挑戰包括患者能力各異，需要簡化的交互和指導。移動選項可以增強參與度，但可能引起困惑或不適。為了有效激發想象力，一個關鍵方面是使VR設置與患者的生活方式和背景保持一致，以避免擾亂他們的日常習慣。關于印象，治療師贊賞VR內容的熟悉度及其反映虛擬場景所處時代的能力。他們建議通過添加更多物品和優化細節來增強真實感，以加強患者與所描繪時代的聯系并刺激他們的長期記憶。
Rajesh（2025）描述了開發一種基于組合預測模型的疫情決策支持系統。研究利用二手數據和預測模型評估了恢復期血漿療法對重癥新冠患者的風險和效果。模型結合了三種方法：灰色預測模型（GM (1,1)）、殘差GM (1,1)模型 和反向傳播人工神經網絡（BP-ANN）。結果顯示臨床特征和實驗室檢查結果呈現積極趨勢，表明患者治療后有所改善。相關發現與梅奧診所和美國國立衛生研究院等機構的報告一致。
相關論文：eXtended Reality and Artificial Intelligence in Medicine and Rehabilitation
https://link.springer.com/content/pdf/10.1007/s10796-025-10580-8.pdf
特刊收錄的論文為基于XR、生物醫學信號采集與分析以及AI的各種技術的潛力提供了多方面的見解，并可以在診斷、外科、治療和康復領域為健康和醫學界提供重要支持。
未來，基于AI的方法將越來越能夠讓慢性病患者直接在家中接受監測，這得益于其在預測危機發作方面更高的準確性和可靠性，從而能夠提前向醫護人員發出警報。這將縮短住院時間，在經濟和組織方面帶來重要的附帶效益。
另外，人們將尋求XR與AI之間日益增加的協同作用和整合。這將能夠自動從醫學圖像中獲得更精確的器官3D重建，改進解剖結構的追蹤，以及改善術中支持中真實器官與虛擬器官之間的對應關系，處理器械遮擋，實時可視化從患者電子病歷中推斷出的情境相關信息，在手術過程中及時預防風險，并更好地分析多種疾病的進程。同時，大型語言模型可用于實現外科醫生與XR系統之間具有情境感知能力、直觀且自然的溝通。
一個未涉及的方向是AI和XR在機器人手術中的整合。在此背景下，主要挑戰之一是找到不同的深度學習和計算機視覺策略之間的最佳整合方式，以便在不受到機器人工具干擾且無需人手輔助的情況下，將可變形虛擬模型即時錨定到真實器官。
