這是一套基于OpenXR標(biāo)準(zhǔn)的跨平臺XR機(jī)器人遠(yuǎn)程操作框架

（中國AI網(wǎng) 2025年08月14日）日前，PICO團(tuán)隊(duì)亮相了自研的XRoboToolkit。這是一套基于OpenXR標(biāo)準(zhǔn)的跨平臺XR機(jī)器人遠(yuǎn)程操作框架，面向全球開發(fā)者與研究機(jī)構(gòu)開放。

打通XR與機(jī)器人世界

XRoboToolkit針對現(xiàn)有機(jī)器人遙操作方案存在的配置復(fù)雜、延遲高、可擴(kuò)展性不足等問題，提供了統(tǒng)一的跨平臺解決思路：
XR端：遵循OpenXR規(guī)范，支持包括PICO4Ultra在內(nèi)的多款頭顯設(shè)備，集成立體視覺低延遲回傳、多模態(tài)追蹤（頭部、手柄、手勢、全身、外部追蹤器）等能力。

機(jī)器人端：提供Python/C++模塊化接口，支持真實(shí)機(jī)器人與MuJoCo等仿真平臺的無縫集成，覆蓋機(jī)械臂、移動(dòng)平臺與靈巧手等多種形態(tài)。

核心亮點(diǎn)

沉浸式低延遲體驗(yàn)：定制視頻流與通信協(xié)議，PICO4Ultra在端到端立體視頻回傳中表現(xiàn)優(yōu)異，延遲低于100ms，相比部分現(xiàn)有方案大幅降低眩暈感，提升機(jī)器人遙操用戶體驗(yàn)。

精確操控能力：優(yōu)化型QP逆運(yùn)動(dòng)學(xué)求解器，確保機(jī)械臂在復(fù)雜工況下的平穩(wěn)控制；靈巧手重定向算法可將XR手勢數(shù)據(jù)映射到機(jī)器人手，實(shí)現(xiàn)細(xì)致抓取與操作。

豐富控制模式：支持雙手柄操控、手勢識別、全身追蹤及肘部追蹤器輔助冗余臂控制，覆蓋從精密裝配到移動(dòng)操作臂等多種任務(wù)場景。

數(shù)據(jù)采集與AI訓(xùn)練：可直接用于采集高質(zhì)量機(jī)器人示范數(shù)據(jù)，已驗(yàn)證可助力Vision-Language-Action模型微調(diào)并在實(shí)際任務(wù)中取得100%成功率。

廣泛應(yīng)用驗(yàn)證

在實(shí)際測試中，XRoboToolkit已成功應(yīng)用于：

高精度遙操任務(wù)：如雙臂地毯折疊、雙臂毫米級容差的裝配操作；

移動(dòng)平臺操控：基于搖桿的全向底盤控制；

仿真靈巧手操作：利用頭顯手勢數(shù)據(jù)直接驅(qū)動(dòng)虛擬手做精細(xì)示范動(dòng)作。

XRoboToolkit的應(yīng)用示例：（a）通過遙操作機(jī)械臂疊地毯并收集數(shù)據(jù)，可訓(xùn)練出讓機(jī)械臂自主完成該操作的Vision-Language-Action模型。（b）UR5雙臂的精細(xì)操作。（c）利用PICO體感追蹤器增強(qiáng)對宇樹G1機(jī)器人手肘的精確操控。（d）利用手勢追蹤對Shadow機(jī)械手在MuJoCo中的仿真控制。

面向開發(fā)者開放

XRoboToolkit項(xiàng)目已全面開放，開發(fā)者可以訪問項(xiàng)目主頁https://xr-robotics.github.io/查看介紹，技術(shù)論文，和開源代碼等內(nèi)容。PICO將持續(xù)推動(dòng)該框架的跨平臺兼容性和標(biāo)準(zhǔn)化工作，包括：

擴(kuò)展對更多仿真平臺和機(jī)器人硬件的支持；

增加機(jī)器端自定義數(shù)據(jù)回傳支持；

持續(xù)增強(qiáng)和擴(kuò)展對靈巧手和其他外設(shè)的支持；

推進(jìn)OpenXR在全身追蹤等能力上的統(tǒng)一標(biāo)準(zhǔn)。

視頻演示：

如有問題，反饋，評論和合作探討，歡迎直接聯(lián)系項(xiàng)目負(fù)責(zé)人：

荊可(ke.jing@bytedance.com)

楊寧(ning.yang@bytedance.com)

團(tuán)隊(duì)總結(jié)道：“期待和你一起，推動(dòng)XR和具身智能應(yīng)用的未來。”