Reality Promises創造了使用魔法力量或幻想生物即時操縱物理場景的幻覺

（中國AI網 2025年08月26日）當前混合現實系統無法實現對物理場景的無縫操作，將體驗限制在虛擬效果中。在一項研究中，普林斯頓大學團隊提出了Reality Promises的概念。這種混合現實幻覺旨在以虛擬現實提供的方式操縱場景，同時秘密地將虛擬操作傳播到物理現實。

通過將虛擬操作模式與物理操作模式分離，Reality Promises創造了使用魔法力量或幻想生物即時操縱物理場景的幻覺。

普林斯頓大學的計算機科學家正致力于融合虛擬現實和現實世界，從而增強各種體驗，包括遠程協作、教育、娛樂和游戲。計算機科學助理教授帕拉斯圖·阿卜塔希（Parastoo Abtahi）表示，未來有朝一日，虛擬現實和增強現實技術可能會變得司空見慣。重要的是，這項技術的用戶將能夠與物理世界無縫交互。

現在，團隊正致力于將虛擬現實技術與用戶可以控制的物理機器人相結合。Reality Promises引導移動機器人在動態虛擬物理解耦和重新耦合點之間操縱物理對象，不會在視圖中向用戶顯示自身。

在一個示例中，穿戴頭顯設備的用戶可以從選項列表中選擇一種飲料，然后虛擬地把它放在面前的桌子之上。或者，你可以要求一只蜜蜂把一袋薯片送到你面前。實際上，把飲料放到桌面或者把薯片送到你面前的操作都是由物理機器人完成，但用戶在視圖中完全看不到機器人的身影。

為了確保機器人不可見和物理對象可交互，團隊引入了機器人感知的3D Gaussian Splat光柵化、著色和動畫系統，它可以在需要時將splat與本地空間對齊到用戶的視圖中。他們系統地推導了提供內聚的端到端用戶體驗的交互協議，例如無中生有地物化對象，或將用戶/角色誘導的虛擬力應用于物理對象。

起初，飲料和薯片可能只是像素。但大約一分鐘后，它們就會像變魔術一樣，變成物理現實。但這不是魔法，這是一個對用戶不可見地機器人。

團隊指出，通過過濾掉“所有不必要的技術細節，甚至是機器人本身”，這種體驗看起來是無縫的。他們的目標是令技術隱藏起來，并讓人與計算機之間的交互感覺更直觀。

系統的一個關鍵技術難點是通信。用戶必須能夠簡單地表達他們的愿望——例如，在房間里選擇一支筆，然后把它移到他們面前的桌子上。所以他們發明了一種交互技術，一個簡單的手勢就可以允許用戶選擇一個物體。然后，手勢轉譯成機器人執行的命令。

另一個技術挑戰是在用戶的視圖中添加和刪除物理對象。通過利用3D Gaussian Splat，他們創造了一個真實的物理空間的數字副本。一旦房間里的所有東西都掃描完成，系統就可以從視場中刪除特定對象，比如一個移動的機器人，又或者是添加特定地對象，比如一只動畫蜜蜂。

相關論文：Reality Promises: Virtual-Physical Decoupling Illusions in Mixed Reality via Invisible Mobile Robots

https://mkari.de/reality-promises/paper/kari2025-reality-promises.pdf

為了實現這一點，房間的每一寸和里面的每一個物體都必須進行掃描和數字化渲染。目前，這個過程有些繁瑣。通過將這項任務分配給機器人來簡化它，是實驗室未來的研究課題。