多模態空間數據的一站式工具

中國AI網 2025年09月06日)你是從事空間計算的開發者、研究人員,或機器人愛好者嗎?SpatialML Capture是一款專為 PICO 設備打造的新應用,可幫助你輕松錄制高質量的多模態空間數據。

PICO發布多模態空間數據一站式工具SpatialML Capture  第1張

應用介紹

SpatialML Capture 是一款專用于 PICO 設備的應用,用于錄制豐富的空間數據,服務于機器學習和機器人研究與應用。它能夠捕獲并按時間戳同步多種數據流,并將其保存為統一的 SpatialMP4 格式文件,包括:

雙目 RGB 視頻(左眼和右眼圖像)

深度信息

設備的實時 6DoF 位姿(位置和方向)

PICO發布多模態空間數據一站式工具SpatialML Capture  第2張

PICO發布多模態空間數據一站式工具SpatialML Capture  第3張

通過空間數據的采集,該應用將 PICO XR 頭顯轉化為一個高效、便捷的工具,可用于訓練機器學習模型、開發機器人導航算法,或調試 VIO 和 SLAM 算法。下面視頻中展示了該工具的使用和一些功能。

入門指南

1.獲取 SpatialML Capture 應用

該應用兼容 PICO 4 Ultra,請確保設備已更新至 OS 版本 5.14.0 或更高。

可在 PICO 應用商店免費下載: https://store-global.picoxr.com/global/detail/1/7534682087157317672

2.核心功能一覽

同步存儲:所有數據流均按時間戳被完美同步并存儲在一個 SpatialMP4 文件中。

高效便捷:應用針對錄制過程進行了優化,功耗極低。

輕松導出:使用 adb 命令即可將錄制文件從設備導出到電腦進行分析。

3.錄制與使用

在 PICO 設備上啟動應用。

授予相機、音頻和空間數據的必要權限。

使用控制器扳機鍵或 “音量 +” 按鈕開始和停止錄制。

請在光照良好的環境下錄制,并盡量保持動作平穩,以獲得最佳數據質量。

文件將保存到設備路徑:/sdcard/Movies/SpatialMP4/。

使用 SpatialMP4 SDK 解析數據

PICO 提供了一個開源的 SpatialMP4 C++/Python SDK 及可視化工具,幫助你解析和可視化數據。

倉庫地址:https://github.com/Pico-Developer/SpatialMP4

主要功能:SDK 提供 API 用于讀取 RGB 圖像、深度圖、位姿數據和相機參數,支持多種讀取模式和隨機幀訪問。
可視化工具:倉庫中包含一個測試可執行文件(test_reader),可快速可視化錄制的空間數據。

PICO發布多模態空間數據一站式工具SpatialML Capture  第4張

使用場景與反饋

SpatialML Capture 非常適合需要采集高質量、同步空間數據的人群。無論你是在為 XR 應用訓練 AI 模型,還是在打造下一代機器人,我們希望這款工具都能顯著簡化你的工作流程。

有關詳細的使用案例和指南,請參閱 SpatialML Capture 工具文檔:
https://developer.picoxr.com/zh/document/unity/spatialmlcapture/

如果你有任何問題或反饋,歡迎聯系 PICO 官方。

SDK 相關問題可在 GitHub 倉庫提交 issue。

應用相關問題可通過 PICO 應用商店的反饋渠道提交。