消除了對物理控制器的需求，提高了易用性，同時最大限度地減少了與直接機器人操作相關的潛在安全風險

（中國AI網 2025年06月11日）機器人技術和XR技術的集成通過提高可用性、直觀性和可訪問性，為推進人機交互（HRI）提供了變革性的機會。在一項研究中，瑞典皇家理工學院團隊介紹了一個無控制器，LLM驅動的聲控XR操縱系統，這樣用戶就能夠實時遠程操作機器人。

通過利用自然語言處理（NLP）和XR技術，系統消除了對物理控制器的需求，提高了易用性，同時最大限度地減少了與直接機器人操作相關的潛在安全風險。初步的用戶演示成功驗證了系統的功能，展示了其更安全、更直觀和沉浸式機器人控制的潛力。

近年來，機器人技術迅速發展，無縫集成到日常生活的各個方面，包括服務業、醫療保健和社交場景。這種不斷增長的存在凸顯了對有效和直觀的人機交互（HRI）和協作的需求。

所述演變的關鍵推動因素是機器人與XR的集成，這是一種將虛擬元素疊加到現實世界中以創建身臨其境的上下文感知界面的技術。通過彌合物理和數字領域之間的差距，XR增強了人機交互（HCI）的可用性、直觀性和可訪問性。

通過向用戶提供額外的上下文相關信息的能力，XR為推進機器人遠程操作、態勢感知和任務性能提供了變革性的機會。大量的前期研究已經探索了XR在不同領域的機器人遙操應用，并強調了XR改善用戶體驗、增強任務執行力和增強態勢感知的潛力，而這一切都是實現有效HRI的關鍵組成。

隨著XR技術的發展，大型語言模型LLM已經成為包括機器人在內的各個領域的變革力量。LLM以其卓越的自然語言處理（NLP）能力而聞名，并已用于增強機器人操作和交互體驗。

最近，在社交機器人領域，LLM促進了智能會話機器人，實現了更自然、更有意義的人機交流。同樣，在機器人操作中，相關模型通過提供先進的推理和決策能力，已經證明了它們在提高任務績效方面的潛力。將LLM集成到機器人系統中代表了重新定義人類與機器人交互方式的有希望途徑，為更直觀，高效和可訪問的解決方案鋪平了道路。

在相關進步的基礎上，瑞典皇家理工學院團隊引入了LLM驅動的XR操作系統。這種遠程操作框架結合了LLM和XR的功能，實現了與機器人的語音命令，無控制器交互，如圖1所示。

所提出的系統不再需要物理控制器，而是允許用戶通過自然語言指令直觀地操作虛擬機器人。相關語音命令由LLM實時處理，并無縫地轉化為物理機器人執行的動作。通過用語音驅動命令取代傳統的控制器，所提出的系統顯著提高了可訪問性，使機器人遠程操作對非專業用戶和不同身體能力的個人更具包容性。

系統是通過Meta Quest 3實現。通過引入由LLM支持的無控制器、語音驅動的交互模型，尖端的NLP功能與沉浸式XR技術的融合為解決HRI和HCI中的挑戰提供了一種創新方法。這種集成不僅為革命性的機器人遠程操作提供了一個開創性的框架，而且為用戶與機器人系統交互提供了一種更自然、更直觀的方式。

通過解決與可訪問性和易用性相關的障礙，這種以人為中心的方法強調包容性和簡單性，擴大了機器人在不同領域的應用范圍。例如，在工業環境中，工人可以遠程命令機器人執行復雜的任務，無需經過專門培訓。在醫療保健領域，從業者可以依靠語音引導的遠程手術來精確操作外科機器人或患者護理。

另外，系統的多功能性還可以擴展到危險環境控制、教育機器人和工業自動化等領域，為專家和非專業用戶提供變革的可能性。

相關論文：LLM-Driven Augmented Reality Puppeteer: Controller-Free Voice-Commanded Robot Teleoperation

總的來說，團隊提出了一個無控制器，LLM驅動的聲控XR機器人遠程操作系統，標志著朝著更直觀，可訪問和身臨其境的HRI邁出了重要一步。通過集成XR和NLP，所述方法消除了傳統輸入設備的限制，實現了人與機器人之間流暢和自然的交流。

這一進步降低了機器人控制的障礙，使其對不同技能水平和應用領域的用戶更具包容性。除了增強可訪問性和可用性之外，系統同時為機器人遠程操作和交互式自動化的未來發展奠定了基礎。

它的潛力擴展到針對特定任務的自適應學習、多模態輸入集成和協作機器人，其中機器人可以在更動態和復雜的環境中智能地響應用戶命令。同時，它通過XR驅動的可視化融合物理和數字世界的能力，為工業、醫療和其他研究環境中的安全、培訓和實時機器人監督開辟了新的機會。