PICO對PICO 4 Ultra的MR功能進行了全面解讀
（中國AI網(wǎng) 2024年11月26日）PICO4 Ultra的核心賣點之一是MR。它具備實時掃描、錨點、云錨點、房間標定、語義識別等環(huán)境感知能力，從而為用戶和開發(fā)者帶來了前所未有的交互式體驗可能性。同時，這款設備提供了MR安全、快速安全區(qū)設置（一鍵安全區(qū)）、全自動房間標定等應用，進一步提升了用戶的使用安全性和便捷性。
在日前一篇博文中，PICO就對PICO 4 Ultra的MR功能進行了全面解讀：
1. 實時網(wǎng)格
開發(fā)者指南：https://developer.picoxr.com/zh/document/unity/spatial-mesh/
PICO4 Ultra依托強大的深度傳感器和深度感知算法，對環(huán)境信息進行實時掃描，形成環(huán)境表面信息提供給系統(tǒng)和應用層，讓頭戴具備碰撞、遮擋的虛實交互能力，以及更舒適的安全能力。
1.1 技術亮點
結合感知模型和分塊策略，提供完備的環(huán)境語義網(wǎng)格
實時語義網(wǎng)格分別使用兩個感知模型分別來計算語義信息和深度信息，采用分塊管理策略實現(xiàn)掃描范圍廣，且性能占用低，同時支持部分場景下的歷史網(wǎng)格的找回和更新，實時更新環(huán)境網(wǎng)格信息，降低重復掃描的成本。
其中，深度模型基于雙目 + ToF 的神經(jīng)網(wǎng)絡模型融合方案，利用海量數(shù)據(jù)以及大模型標注，實現(xiàn) zero-shot 高精度深度感知能力，提供給系統(tǒng)和應用層強大的深度感知能力，檢測類型、距離與精度均達到行業(yè)先進水平。
結合實時網(wǎng)格平面估計，提升語義網(wǎng)格精度
實現(xiàn)融合語義信息的網(wǎng)格平面估計能力，對屬于平面區(qū)域的網(wǎng)格進行拍平和語義矯正功能，提升平面區(qū)域網(wǎng)格的精度和語義準確度。
實現(xiàn)實時網(wǎng)格簡化，提供多層 LOD 網(wǎng)格數(shù)據(jù)
結合分塊策略和平面特性，在實時網(wǎng)格簡化處理上，采取優(yōu)先針對平面區(qū)域簡化的策略，而后再針對非平面區(qū)域進行簡化，這樣盡可能地使簡化后的網(wǎng)格在不丟失網(wǎng)格精度的同時，網(wǎng)格數(shù)量也大幅減少，這樣的策略在家居場景中十分有利。
并且持續(xù)優(yōu)化實時網(wǎng)格簡化策略，擺脫網(wǎng)格分塊的約束，讓簡化程度更一步提升的同時，網(wǎng)格拓撲質量也進一步改善，該效果對應版本將在下一個系統(tǒng)版本中發(fā)布。
結合語義信息和實時網(wǎng)格處理，實現(xiàn)動態(tài)物體的精準隔離
針對動態(tài)場景，結合語義分類信息可以提供環(huán)境分類信息，同時結合實時細小噪聲網(wǎng)格剔除功能，可以實現(xiàn)精準的動態(tài)物體和噪聲網(wǎng)格的去除。
1.2 能力展示
1.3 系統(tǒng)級應用場景
安全區(qū)自動高度檢測：PICO 4 Ultra配備了自動高度檢測功能，在快捷設置安全邊界時，同步檢測地面高度。
2. MR 安全防護機制
開發(fā)者指南：https://developer.picoxr.com/zh/document/unity/mr-safeguard/
通過實時環(huán)境感知，設備提供了MR安全機制。它可以實時感知物理環(huán)境，及時提醒用戶附近的障礙物，確保用戶能夠在虛擬與現(xiàn)實之間自如切換的同時保持安心。
3. 空間音頻
開發(fā)者指南：https://developer.picoxr.com/zh/document/unity/spatial-audio/
空間音頻技術為用戶提供逼真的聲場體驗。在 11 月即將上線的新版本空間音頻能力中，將結合 MR 實時網(wǎng)格能力，在 MR 體驗過程中，感知用戶周圍真實空間表面信息，設備根據(jù)用戶的方位和動作，動態(tài)調整音頻效果，使聲音與視覺效果完美結合，進一步提升了虛擬現(xiàn)實互動的沉浸感。
4. 錨點及云錨點
開發(fā)者指南：https://developer.picoxr.com/zh/document/unity/spatial-anchor-overview/
在PICO4 Ultra上，支持應用在空間中放置任意位置的錨點，用于記憶和召回物品的位置信息。錨點的附近將會建立錨點地圖，用于召回時對房間信息進行匹配，同時也可用于多人共享體驗中的云錨點分享和定位。這為 MR 開發(fā)者提供了位置記憶的可能性，就像真實物體放置在空間中不會消失一樣，虛擬物體，也可以做到下次回來時仍可以看到擺放在原位。
錨點地圖的掃描和建圖技術，引入了多圖像注意力機制，這可以節(jié)省地圖存儲資源，并提升建圖精度。
而在錨點的召回和定位時，支持多隊列，多任務，分步加載，節(jié)省內(nèi)存占用資源，提升定位效率。同時引入基于用戶行為分析的錨點修正策略，消除累積誤差。
云錨點多人同一空間共享方面，支持端云結合的多人共建機制，實現(xiàn)多用戶，多設備同時定位的同時，極大程度減小網(wǎng)絡資源占用，提升定位速度。針對共享，還使用了自動遍歷識別機制、多幀匹配結果、歷史定位信息和錨點關聯(lián)關系、記憶機制、多模態(tài)混合，保證了共享錨點的召回率。
5. 房間標定
開發(fā)者指南：https://developer.picoxr.com/zh/document/unity/scene-capture/
房間標定應用會在三方應用調用接口時喚起，引導用戶完成對房間的預掃描并構建出用戶所處現(xiàn)實環(huán)境的幾何結構，同時也將識別天花板、地面、墻面、門、窗戶和開口。房間標定應用還會識別房間特征和家具，如桌子、椅子和沙發(fā)。這些信息將有助于你的應用構建一個足夠通用的混合現(xiàn)實體驗，可確保用戶身處在不同的真實環(huán)境結構下，依舊能結合身邊的現(xiàn)實環(huán)境進行游戲。
為用戶構建混合現(xiàn)實場景所需要預知用戶所處的現(xiàn)實環(huán)境結構，需要獲得房屋幾何結構信息和語義信息來產(chǎn)生更多地互動體驗，那么推薦你使用場景標定的相關API進行開發(fā)。這套框架使用設備的傳感器、不斷訓練 DL 模型并結合渲染功能來捕獲用戶所處房間的現(xiàn)實環(huán)境。
與顧客互動，簡化工作流程：通過在應用程序中接入房間標定，可以輔助創(chuàng)建房間戶型圖，幫助顧客做出更全面的決策，簡化建筑和室內(nèi)設計的工作流程。
實時掃描：房間標定允許開發(fā)者通過三方應用程序調起，完成用戶體驗和掃描引導，利用內(nèi)建輔導 UI 來優(yōu)化掃描，并通過視覺反饋展示實時掃描進度。
3D房間布局估計：房間標定的核心之一是3D房間布局估計，它使用兩個神經(jīng)網(wǎng)絡來檢測墻壁、開口、門和窗戶，并將這些2D線條提升到3D空間中。
3D對象檢測：房間標定的3D對象檢測管道能夠直接在3D空間中識別10個對象類別，覆蓋主要的房間定義家具類型，如柜子、沙發(fā)、桌子、椅子、床、屏幕和窗簾。
掃描指導通知：房間標定提供實時反饋，指導用戶調整光照、掃描速度和與墻壁的距離，以確保算法接收到高質量的輸入。
數(shù)據(jù)收集和標記：為了確保算法能夠適應不同房間類型的變體，房間標定從多個國家的多個家庭中收集數(shù)據(jù)，以增加場景多樣性并減少數(shù)據(jù)集中的偏差。
高效的性能：RoomPlan 能夠在不犧牲 CPU/GPU 性能的情況下，讓用戶掃描大房間，避免了因熱限制導致的幀率下降等問題。
