iDP3（Improved 3D Diffusion Policy）是斯坦福大學聯合多所高校推出的改進型3D視覺運動策略(如三維擴散策略)，提升人形機器人在多樣化環境中的自主操作能力。與傳統3D策略不同，iDP3基于自我中心的3D視覺表征，摒棄對精確相機校準和點云分割的需求，讓機器人能靈活地在真實世界中執行任務。iDP3在視圖變化、新對象識別和新場景適應方面展現出卓越的泛化能力，顯著提高人形機器人在未見過的環境中的實用性和靈活性。
iDP3的主要功能自我中心3D視覺表征：用自我中心的3D視覺表征，直接在相機幀中處理3D數據，消除對相機校準和點云分割的需求。泛化能力：視圖泛化：在視圖發生大的變化時仍然準確地抓取物體，而不受訓練時特定視角的限制。對象泛化：能處理在訓練中未見過的物體，得益于3D表征的使用，不依賴于特定對象的特征。場景泛化：在未見過的環境中執行任務，即使這些環境在復雜性和噪聲水平上與訓練環境有所不同。高效率：在訓練和部署時表現出高效率，減少對大量數據集的依賴，快速適應新環境。iDP3的技術原理3D視覺輸入：基于從LiDAR相機獲取的3D點云數據，數據提供了機器人周圍環境的詳細空間信息。自我中心視角：與傳統的3D策略不同，iDP3基于自我中心視角，即直接用相機幀中的3D表示。擴大視覺輸入：基于增加采樣點的數量捕捉整個場景，提高對場景的全面理解。改進的視覺編碼器：用金字塔卷積編碼器替代傳統的多層感知器（MLP）視覺編碼器，提高從人類示范中學習時的平滑性和準確性。更長的預測視野：為應對人類專家的抖動和傳感器噪聲，基于延長預測視野提高學習效果。優化和推理：在訓練時用AdamW優化器，用DDIM（Denoising Diffusion Implicit Models）進行擴散過程的優化和推理。iDP3的項目地址項目官網：humanoid-manipulation.github.ioGitHub倉庫：https://github.com/YanjieZe/Improved-3D-Diffusion-PolicyarXiv技術論文：https://arxiv.org/pdf/2410.10803iDP3的應用場景家庭自動化：人形機器人在家庭中進行清潔和整理。工業自動化：人形機器人在裝配線進行精細的裝配工作。醫療輔助：人形機器人在醫院輔助護理，幫助移動患者。搜索與救援：人形機器人在災難現場進行搜救。教育與培訓：人形機器人作為教學助手，展示復雜操作過程。 
