MMSearch是一個用于評估大型多模態(tài)模型（LMMs）作為AI搜索引擎能力的基準(zhǔn)測試。包括一個MMSearch-Engine框架和MMSearch測試集，后者包含300個問題，涵蓋14個子領(lǐng)域。MMSearch-Engine框架通過問題重構(gòu)、網(wǎng)頁排序和答案總結(jié)三個階段增強LMMs的搜索能力。測試集分為新聞和知識兩大類別，確保測試內(nèi)容與LMMs的訓(xùn)練數(shù)據(jù)不重疊，提供公平的評估。實驗表明，GPT-4o模型在MMSearch基準(zhǔn)測試中表現(xiàn)優(yōu)異，超越商業(yè)產(chǎn)品Perplexity Pro。研究發(fā)現(xiàn)，增加測試時的計算量比增大模型規(guī)模更有效。
MMSearch的主要功能多模態(tài)搜索能力評估：MMSearch旨在評估大型多模態(tài)模型（LMMs）在處理包含圖像和文本的復(fù)雜查詢時的搜索能力。問題重構(gòu)：將用戶的原始查詢轉(zhuǎn)換為適合搜索引擎處理的格式。網(wǎng)頁排序：從搜索引擎獲取的結(jié)果中選擇最相關(guān)的網(wǎng)頁。答案總結(jié)：從選定的網(wǎng)頁內(nèi)容中提取并總結(jié)答案。MMSearch的技術(shù)原理MMSearch-Engine框架：問題重構(gòu)（Requery）：基于LMMs理解用戶查詢的意圖，并轉(zhuǎn)化為搜索引擎能理解的格式。如果查詢包含圖像，還會用Google Lens等工具識別圖像中的關(guān)鍵信息。網(wǎng)頁排序（Rerank）：用LMMs對搜索引擎返回的結(jié)果進行重新排序，確定哪些網(wǎng)頁最有可能包含正確答案。答案總結(jié)（Summarization）：從選定的網(wǎng)頁中提取相關(guān)信息，并總結(jié)成答案。數(shù)據(jù)集設(shè)計：MMSearch包含300個手動收集的查詢實例，涵蓋新聞和知識兩大領(lǐng)域，確保與LMMs的訓(xùn)練數(shù)據(jù)不重疊。評估策略：通過端到端任務(wù)和單獨的任務(wù)（問題重構(gòu)、網(wǎng)頁排序、答案總結(jié)）評估LMMs的性能。MMSearch的項目地址項目官網(wǎng)：mmsearch.github.ioGitHub倉庫：https://github.com/CaraJ7/MMSearchHuggingFace模型庫：https://huggingface.co/datasets/CaraJ/MMSearcharXiv技術(shù)論文：https://arxiv.org/pdf/2409.12959MMSearch的應(yīng)用場景學(xué)術(shù)研究：研究人員用MMSearch評估和比較不同大型多模態(tài)模型在處理包含圖像和文本的復(fù)雜查詢時的性能。搜索引擎優(yōu)化：搜索引擎開發(fā)者用MMSearch的框架和評估方法改進搜索引擎的算法，更好地理解和回應(yīng)用戶的多模態(tài)查詢。智能助手：在開發(fā)智能助手或聊天機器人時，MMSearch提升助手對用戶輸入的圖像和文本信息的理解和回應(yīng)能力。內(nèi)容推薦系統(tǒng)：內(nèi)容推薦平臺用MMSearch的技術(shù)原理更準(zhǔn)確地分析用戶查詢意圖，從而提供更相關(guān)的推薦內(nèi)容。教育和培訓(xùn)：教育工具集成MMSearch的評估方法設(shè)計課程和訓(xùn)練材料，幫助學(xué)生更好地理解多模態(tài)信息檢索的概念。 
