Augmented Physics是一個創新的教育工具，基于集成機器學習技術，將物理教科書中的靜態圖表轉換成互動式和嵌入式的物理模擬。工具基于先進的計算機視覺技術，比如Segment Anything和多模態大型語言模型（LLM），讓用戶能半自動地從教科書中提取圖表，生成可交互的仿真。學生能基于實際操作探索和理解物理概念，如光學、運動學和電路等。Augmented Physics支持多種仿真類型，用一個基于網絡的界面將互動視覺輸出無縫集成到掃描的教科書頁面中，為學生提供一個更加直觀和個性化的學習體驗。Augmented Physics支持教師和學生用簡單的操作創建模擬，無需任何編程知識，使復雜的物理現象變得易于理解和掌握。
Augmented Physics的主要功能自動提取圖表：從物理教科書的PDF中自動識別提取圖表。生成交互式模擬：將靜態圖表轉換成動態的物理仿真，支持用戶調整參數和觀察結果。動態可視化數據：展示物理量隨時間變化的動態圖表，如擺的角度變化。增強實驗：用戶直接在屏幕上操作物理仿真，如改變物體位置或電路參數。動畫圖表：將靜態圖表變成展示物理現象隨時間變化的循環動畫。Augmented Physics的技術原理計算機視覺技術：用Segment Anything模型進行圖像中對象的識別和分割，及OpenCV進行圖像處理，實現路徑提取和輪廓檢測。多模態大型語言模型（LLM）：理解圖表中的文字描述，推薦相應的物理仿真類型，自動設置仿真參數。物理引擎集成：用Matter.js等物理引擎模擬物理行為，處理如重力和光線反射等物理現象。交互式模擬生成：系統自動識別并分割圖表中的物體，支持用戶賦予物理屬性和進行交互。動態可視化與動畫：支持將靜態圖表轉化為動態動畫，展示物理現象的變化過程。Augmented Physics的項目地址arXiv技術論文：https://arxiv.org/pdf/2405.18614Augmented Physics的應用場景計算機視覺技術：用Segment Anything模型進行圖像中對象的識別和分割，及OpenCV進行圖像處理，實現路徑提取和輪廓檢測。多模態大型語言模型（LLM）：理解圖表中的文字描述，推薦相應的物理仿真類型，自動設置仿真參數。物理引擎集成：用Matter.js等物理引擎模擬物理行為，處理如重力和光線反射等物理現象。交互式模擬生成：系統自動識別并分割圖表中的物體，支持用戶賦予物理屬性和進行交互。動態可視化與動畫：支持將靜態圖表轉化為動態動畫，展示物理現象的變化過程。 
