賦能機器人、AI、3DGS和Web開發者
（中國AI網 2025年05月05日）作為 HarvardXR 2025 的贊助方之一，PICO展示了一系列旨在幫助開發者將XR 拓展至更廣泛應用領域的創新技術與工具。本次大會主題為“The Augmented Self”，于 2025 年 4 月 19 日在波士頓哈佛大學舉行，吸引了來自全球的 XR 行業專家、研究者、開發者、學生和愛好者參與。
在演講中，PICO 產品經理荊可與盛若亞介紹了以下PICO創新的開發者項目：
XR Robotics Toolkit：一套面向 XR 設備的開源工具，支持機器人遠程操控與具身智能研究。PICO Splat：一款支持在 PICO 4 Ultra 上加載與渲染 3D 高斯點云（3D Gaussian Splatting）資源的開源 Unreal Engine 插件。PICO Spatial ML 與 SecureMR：一套端側 AI 和機器學習框架，SecureMR 允許開發者基于視頻透視數據部署 AI 模型，并保障用戶隱私。WebSpatial：一個跨平臺開源框架，用于將傳統網站空間化，使 Web 開發者更容易將內容擴展至沉浸式 XR 環境。以下部分將介紹每個項目的詳細內容。PICO后續將在后續文章中持續發布更多更新。
XR Robotics Toolkit
XR Robotics Toolkit 的愿景是：通過 XR 塑造機器人與 AI 的未來。XR 與機器人結合的動機非常清晰：
技術契合：兩者均依賴空間技術，如 6DoF 追蹤與雙目視覺。交互優勢：XR 提供適用于類人機器人遠程控制的直接操控界面。AI 訓練：XR 支持空間對齊的數據采集，有利于訓練具身 AI 模型。以下演示錄制自 PICO 4 Ultra 上的 XR Robotics Toolkit 示例應用：
在這個例子中，操作者佩戴 PICO 4 Ultra，并使用運動控制器遠程操控雙臂機器人。機器人的視覺來自另一臺開啟視頻透視模式的 PICO 4 Ultra，此外，工具包也支持外接立體相機以實現第一人稱視角。
另外，該工具包還可用于記錄操作者頭部與手部的空間運動軌跡，為機器人 AI 提供訓練數據。
PICO正在推進這套工具的開源計劃，計劃發布 GitHub 開源倉庫，內容涵蓋 XR 端軟件、機器人端配套工具，以及支持 Unity 與 C++ 的開發工具。
歡迎加入Discord，并關注 #xr-robotics 頻道 ，獲取最新動態并參與項目共建。
PICO Splat
PICO于 2024 年 8 月發布了支持 3D 高斯點云渲染技術的文章，旨在提升 XR 中的沉浸式 3D 觀感體驗，并收獲了廣泛好評。
PICO現已將 Unreal Engine 5 插件 PICO Splat 開源發布至GitHub 和 Unreal 商店 。開發者可使用該插件在 PICO 4 Ultra 上加載并渲染 3D 與 4D 高斯點云（4DGS）資源。
以下是一些在設備上測試并捕捉的畫面：
你還可以使用該插件渲染動畫形式的 4DGS 內容，例如以下繪畫動畫演示：
歡迎加 Discord，并在#ue5-3dgs 頻道 和PICO交流和提供反饋。
SecureMR
對于希望構建 AI/ML 場景理解功能的 MR 開發者來說，訪問攝像頭數據一直是個挑戰。為解決這一問題，PICO推出了 SecureMR——一套保障隱私的端側 AI 推理方案，專為混合現實場景打造。
以下為一個功能示例：
SecureMR 在 PICO 4 Ultra 上實時執行人臉檢測，并在檢測到的人臉上方渲染 3D UFO 模型。整個過程在設備本地完成，無需回傳攝像頭圖像給應用。
除了人臉識別，SecureMR 還支持常見物體識別、姿態估計等多種模型，皆以隱私優先的方式執行。
SecureMR 工作流程如下：
應用將 ML 模型發送至 SecureMR。SecureMR 處理原始數據（如視頻流、深度圖）。推理引擎執行模型。推理結果以安全方式用于渲染或后續邏輯處理。PICO已發布原生 C++ SDK，Unity 版本也即將上線。你可以訪問SecureMR 開發者文檔 、開發者文章 和 GitHub 倉庫 獲取更多技術細節。如有問題、討論或反饋，歡迎加入Discord，前往 #spatial-ml 頻道交流。
WebSpatial
最后，PICO介紹了 WebSpatial——一款開源、跨平臺的 Web 空間化開發框架，用于將傳統網站空間化至 XR 設備中。
WebSpatial 降低了傳統 Web 開發者進入 XR 世界的門檻。全球超過 60% 的開發者使用 Web 技術，而 XR 傳統上偏向 3D 引擎開發者。WebSpatial 的目標是擴大 XR 生態的開發者基礎。
以下是一個電商示例，展示了 2D 窗口內嵌 3D 模型、玻璃材質特效與空間分層等功能。
WebSpatial 是 Web 開發者構建 XR 網站的理想方案，具有以下優勢：
跨平臺支持：兼容 Apple Vision Pro、PICO、Meta Quest、AndroidXR 等低學習曲線：繼續使用熟悉的 React 與 CSS無縫空間化：原有 2D 網站可輕松拓展為 3D 空間版，不影響原站點成本低：無需學習復雜 3D 引擎，可直接使用現有 Web 框架可自定義的 3D UI：支持基于 CSS 與 React 的 3D 界面設計即時生成沉浸場景：使用“spatial div”和嵌套布局快速構建空間內容WebSpatial 的核心功能還包括：
CSS 驅動的 3D 變換：輕松添加深度、材質與圖層React 窗口管理系統：支持多窗口的創建、銷毀與交互Model3D 組件：簡化 3D 模型（支持 GLB、USDZ）渲染動畫支持：集成 Popmotion、React-spring 等 JS 動畫庫實現流暢過渡https://v.qq.com/x/page/w30883ug7qc.html
WebSpatial 不只是一個工具，更是一個成長中的社區。歡迎加入 WebSpatial Discord，共同打造跨平臺的空間 Web 未來。
PICO HarvardXR 2025 與會人員：
荊可 – 演講嘉賓，XR Robotics 與 PICO Splat 產品經理
盛若亞 – 演講嘉賓，SecureMR 與 WebSpatial 產品經理
王倩璐 – 開發者生態與運營
