查看引用/信息源請點擊:中國AI網

當虛擬世界終于學會了“觸摸”,我們與之互動的方式也將被徹底重塑

中國AI網 2025年11月14日)在虛擬現實構建的宏大世界里,我們能用雙眼見證奇跡,用雙耳聆聽共鳴,但我們的身體,卻常常是沉默的。尤其是在模擬人群熙攘的街頭或緊急疏散場景時,那份源于肌膚與肌肉的、對于擁擠和碰撞的微妙感知,一直處于缺失狀態。這份缺失,使得我們在VR中的行為,與真實世界相比,總隔著一層難以言喻的疏離感。

針對這個問題,東京大學與斯坦福大學團隊正嘗試填補這一關鍵空白。他們的發現揭示:當虛擬世界能夠“觸摸”我們時,我們的身體會以更真實、更本能的方式作出回應。 這不僅是一項技術成就,更是我們理解人機交互、構建下一代沉浸式模擬器的重要一步。

觸覺反饋對動態VR行人環境中用戶避障行為與視覺探索的影響研究  第1張

此前,學術界和產業界并非沒有嘗試在VR人群模擬中加入觸覺反饋。然而,許多研究得出的結論頗為矛盾:有的認為觸覺提升了沉浸感,但另一些,如Berton等人在2022年的研究,卻發現它并未顯著改變用戶的行走路徑。

一個被廣泛接受的觀點是:人類移動行為主要依賴于視覺。 在現實世界中,我們依靠雙眼就能判斷出與他人的距離、速度和間隙,從而規劃路徑。因此,有研究者認為,在VR中,即便提供了觸覺信息,它也可能被更主導的視覺系統所覆蓋,從而顯得無足輕重。

團隊成員指出:“但這里存在一個關鍵的局限性。先前的研究環境,大多不夠‘混亂’和‘壓迫’?!?許多實驗設置要么是用戶靜止而NPC移動,要么是稀疏的單向人流。在這樣的環境下,用戶的視覺系統有足夠的能力處理全部信息,觸覺自然成了錦上添花,而非雪中送炭。

真正的挑戰,在于視覺系統過載的瞬間。想象一下下班高峰期的地鐵換乘通道,人群從四面八方涌來,你的視野被完全占據,無法同時顧及每一個潛在的碰撞威脅。這時,來自肩膀或背部的一次輕觸,會成為至關重要的警報信號。本研究的核心,正是要復現這種視覺受限的、高動態的密集環境,探究觸覺在其中扮演的角色。

要回答這個科學問題,首先需要創造一個能逼真模擬真實世界人群復雜性的VR平臺。研究團隊并未滿足于現成的簡單方案,而是從底層開始,構建了一個能夠“呼吸”、能夠自主反應的動態虛擬社會。

賦予NPC智慧:從“社會力”到自主決策的個體

研究團隊采用了一種經過改良的基于速度的行人動力學模型。你可以將它理解為每個NPC體內都有一套精密的“自動駕駛系統”。

這套系統由兩大核心指令驅動:

第一指令:“你要去哪里?”(全局導航) 系統為整個環境設定了一個看不見的“速度場”,如同給每個NPC設定了目的地和理想步行速度(本研究設置為1.2米/秒)。在毫無干擾的情況下,他們會沿著這條理想的路徑直線前進。

第二指令:“小心撞到人!”(局部避障) 當其他NPC或用戶進入其安全距離(一個圍繞自身的“排斥力場”)時,系統會立即計算出一個額外的速度矢量,驅使它進行避讓。這個力場的大小和強度,可以根據人群密度進行調節。

關鍵在于,最終的行走方向是這兩個指令——導航與避障——實時矢量疊加的結果。 這意味著,每個NPC的每一步都是即時計算出來的,而不是沿著預設的固定路徑。正是這種自下而上的計算,才能自然涌現出真實人群中常見的現象:如面對迎面而來的人流時自動分成兩股,或在瓶頸處形成的短暫擁堵與疏通。這種“涌現”行為,是規則腳本動畫無法實現的,也是本研究能模擬動態密集人流的基礎。

賦予NPC生命:從“滑動模型”到活生生的動畫

僅有智慧的移動還不夠,如果NPC的動作僵硬、不自然,會嚴重破壞用戶的沉浸感,從而影響實驗數據的可靠性。為了解決這個問題,團隊引入了游戲與動畫工業界的前沿技術——Motion Matching(動作匹配)。

傳統動畫要么是預設的循環動作,要么需要在不同動作間進行復雜的混合,容易產生滑步或不連貫。Motion Matching 則采用了一種數據驅動的“檢索”思維。

它擁有一個龐大的、預先錄制好的人類行走、轉向、停頓等動作的動畫數據庫。同時,還有一個記錄了這些動作發生時角色狀態(如速度、朝向、位置)的特征數據庫。

在運行的每一幀,系統都會根據NPC當前的實際狀態(比如:正在以1.1米/秒的速度向左前方移動),生成一個“搜索提問”。然后,它會在特征數據庫中飛速尋找與當前狀態最匹配的“那一幀”動畫。找到后,便直接從動畫數據庫中調用對應的角色姿勢來渲染。

這相當于為每個NPC配備了一位實時的、永不疲倦的動畫導演,能隨時從海量動作庫中挑選出最貼合當前移動狀態的一幀。 其結果就是,NPC的動畫無比流暢自然,轉身、閃避、加速都如真人般順滑。

然而,計算數百個NPC的Motion Matching是極其耗費算力的(本研究使用了頂級的RTX 4090顯卡)。為此,團隊采用了巧妙的細節層次(LOD)優化:只為用戶頭戴顯示器(HMD)視野范圍內的NPC進行高精度的Motion Matching計算;對于視野之外的NPC,則使用簡化的動畫或甚至暫停計算。這確保了整個系統能夠在維持高保真視覺效果的同時,流暢運行。

編織一件會“說話”的觸覺衣

創造了可信的虛擬人群后,下一步就是建立用戶與這個世界之間的觸覺溝通渠道。研究團隊自主研發了一款全方位觸覺反饋服,這不僅是硬件創新,更包含了一套精巧的“觸覺語言”編碼系統。

觸覺服的核心是6個獨立的觸覺單元,它們戰略性地布置在用戶上半身的胸部左右側、左右上臂以及上背部。它覆蓋了人體上半身的主要受力和感知區域,能夠模擬來自前、后、左、右以及所有斜向的觸碰。每個單元都由一個微型振動電機和一個采用Shore A 80硬度橡膠材料3D打印的外殼構成。選擇橡膠材質而非硬塑料,是為了更好地與人體貼合,讓振動波更柔和、更廣泛地傳遞,模擬真實的觸碰感,而非生硬的“嗡嗡”震動。

同時,研究團隊設計了一套精細的方向編碼系統。當虛擬環境中的NPC與用戶的距離小于設定的0.65米碰撞閾值時,系統不會粗暴地讓所有電機一齊震動。相反,它會進行一系列高速計算:

步驟一:判定碰撞方向。 以用戶為中心,將360度平面劃分為12個30度一個的扇形區域。

步驟二:激活對應電機。 根據碰撞發生的具體方向,激活與之最接近的1到2個觸覺單元。

通過這種組合,這件觸覺服能夠生成12種截然不同的觸覺模式。這就像一套由12個基本單詞構成的觸覺語言,能夠清晰地向用戶的大腦傳遞“碰撞來自何方”這一關鍵信息。所有這些單元通過藍牙由一顆ESP32微控制器統一協調,確保了反饋的即時性和低延遲。

接下來,團隊設計了一套嚴謹的數據采集與分析流程,像偵探一樣從用戶的行為痕跡中尋找線索。為了在VR中還原用戶的真實動作,團隊使用了索尼的Mocopi(一款基于6個慣性測量單元IMU的動捕系統)。然而,純IMU系統在長時間使用后容易產生位置漂移,導致用戶的虛擬化身“飄走”。

為此,他們創新地采用了傳感器融合方案:用戶的身體姿態(關節彎曲、軀干轉動)由Mocopi提供,而頭部(HMD)的精確位置和朝向,則直接采用HMD自身的定位數據。這樣既利用了IMU捕捉身體運動的靈活性,又保證了整體定位的穩定性,確保了自我化身的準確渲染。

研究人員進一步將每次碰撞事件,按照NPC相對于用戶的方位(前、側、后) 和是否在視野內進行了分類。這種精細化的分類使得他們能夠回答更深刻的問題:觸覺反饋是在所有情況下都起作用,還是僅在視覺盲區(如身后)才效果顯著?

觸覺反饋對動態VR行人環境中用戶避障行為與視覺探索的影響研究  第2張

數據顯示,在有觸覺反饋的條件下,用戶的行走軌跡顯著變長、更加曲折,同時骨盆的轉動幅度也更大。這表明,感受到“觸碰”的用戶,不再滿足于“擠過去”,而是做出了更多側身、繞行的主動避讓動作。他們的虛擬身體變得更加“禮貌”和“謹慎”。

然而,一個反直覺的現象是:觸覺反饋組的用戶,與NPC發生的碰撞次數反而增加了。 這并非觸覺失靈,恰恰相反,它揭示了動態環境的復雜性。更積極的避讓動作,在如此密集且多變的人流中,就像在擁擠的舞池中跳起了更復雜的舞步,雖然意圖是避開眼前的舞伴,卻可能意外地撞到身后的其他人。

觸覺不僅指揮了身體,也指揮了目光。數據顯示,有觸覺反饋時,用戶頭部(頸部)轉動的幅度和頻率都顯著更高。那份來自側方或背后的輕微震動,仿佛是一個無聲的警報,促使他們下意識地轉頭去確認情況。問卷調查結果與此完美印證:用戶普遍報告,在觸覺幫助下,他們對視野盲區內的NPC意識更強了。

在步行速度上,研究發現了一個有趣的現象:觸覺反饋并沒有改變用戶的平均步行速度,但卻顯著增大了速度的標準差。

這意味著什么?想象一下你在真實人群中的行走:突然有人擋在面前,你會減速或停頓;發現一個空當,你會立刻加速通過。你的速度是不斷變化的。而在無觸覺的VR中,用戶更容易保持一種“勻速”的、略帶機械感的行進模式。觸覺反饋的引入,打破了這種勻速狀態,讓用戶的步行節奏變得更動態、更“一驚一乍”。這正是用戶對虛擬環境中的碰撞變得更敏感、行為模式更接近現實的有力證據。

相關論文:Effect of Haptic Feedback on Avoidance Behavior and Visual Exploration in Dynamic VR Pedestrian Environment

https://arxiv.org/pdf/2506.20952

這項研究為我們勾勒出了下一代沉浸式模擬技術的清晰藍圖。在應急疏散訓練領域,未來的消防員、安保人員或普通民眾,可以在絕對安全的環境中,通過觸覺反饋親身“感受”到災難性擁擠的壓力和混亂。這種訓練所塑造的肌肉記憶和應激反應,將遠比觀看視頻或進行簡單的VR行走訓練要深刻得多。

對于城市規劃和建筑設計,設計師們可以利用這個平臺,在建筑動工之前,就在虛擬空間中測試其設計的流通效率。他們不僅能“看到”人群的流動,還能通過觸覺服“體驗”到設計瓶頸所帶來的擁堵和碰撞感,從而從源頭上優化設計,預防潛在的公共安全隱患。

展望未來,研究人員指出,當前的振動反饋仍相對初級。未來的觸覺設備可能會集成力度可調的線性共振致動器、溫度模擬、甚至輕量的電肌肉刺激,以模擬從擦肩而過的輕柔觸感到強烈擠壓的不同感受。同時,如何在極高密度人群中優化觸覺提示,避免信息過載,也是一個充滿挑戰的課題。