MM1.5是蘋果公司推出的多模態大型語言模型，旨在增強文本豐富圖像理解、視覺指代和定位以及多圖像推理能力。模型基于數據為中心的訓練方法，在大規模預訓練、高分辨率OCR數據持續預訓練及優化的視覺指令微調，實現從1B到30B參數規模的高性能。MM1.5包括密集型和MoE變體，展現小規模模型通過精細數據策劃和訓練策略達到強大性能。MM1.5推出針對視頻理解和移動UI理解優化的專門變體MM1.5-Video和MM1.5-UI，基于實證研究提供訓練過程和決策的深入見解，為多模態AI技術的未來發展提供指導。
MM1.5的主要功能文本豐富的圖像理解：MM1.5能理解圖像中的文本內容以及文本與圖像內容之間的關系。視覺指代和定位：模型識別圖像中的特定對象，理解文本中對對象的引用，如“那個紅色的球”。多圖像推理：MM1.5能分析多張圖像，理解圖像之間的聯系，進行邏輯推理。視頻理解：基于MM1.5-Video變體，模型能理解視頻內容，包括動作、事件和時間序列。移動UI理解：MM1.5-UI變體專門針對移動應用界面的理解，識別和操作界面元素。MM1.5的技術原理深度學習和自然語言處理：結合深度學習的視覺模型和自然語言處理技術，模型能理解和生成與圖像內容相關的文本。坐標token和視覺注意力機制：用坐標token定位圖像中的對象，基于視覺注意力機制關注圖像的特定區域。圖像分割和多模態融合：將圖像分割成多個部分，與文本信息融合，支持多圖像推理。視頻幀采樣和時序分析：對視頻幀進行采樣，分析幀之間的時序關系，理解視頻內容。界面元素識別：用圖像識別技術識別移動界面上的元素，如按鈕和圖標。MM1.5的項目地址arXiv技術論文：https://arxiv.org/pdf/2409.20566v1MM1.5的應用場景圖像和視頻理解：MM1.5能理解和分析圖像及視頻內容，應用于圖像標注、視頻內容分析、安防監控等領域。視覺搜索：在電子商務或數字圖書館中，MM1.5幫助用戶基于描述或查詢圖像來搜索特定的產品或文檔。輔助駕駛和自動駕駛：在汽車行業，MM1.5用在理解和分析道路情況，輔助駕駛決策。智能助手：在智能手機和智能家居設備中，MM1.5提供更自然、直觀的交互方式，理解用戶的語音或文本指令。教育和培訓：MM1.5作為教育工具，幫助學生理解復雜的概念，提供個性化的學習體驗。 
