Voyage Multimodal-3 是 Voyage AI 推出的先進(jìn)的多模態(tài)嵌入模型，能處理交錯(cuò)的文本和圖像，并從 PDF、幻燈片、表格等截圖中捕捉關(guān)鍵視覺(jué)特征，無(wú)需復(fù)雜文檔解析。Voyage Multimodal-3模型在多模態(tài)檢索任務(wù)中表現(xiàn)出色，平均檢索準(zhǔn)確率比現(xiàn)有最佳模型高出19.63%，支持文本和內(nèi)容豐富的圖像，具有類(lèi)似現(xiàn)代視覺(jué)-語(yǔ)言轉(zhuǎn)換器的架構(gòu)，能統(tǒng)一處理文本和視覺(jué)數(shù)據(jù)，提供更準(zhǔn)確的語(yǔ)義搜索和文檔理解能力。
Voyage Multimodal-3 的主要功能多模態(tài)數(shù)據(jù)處理：處理和理解文本、圖像及混合類(lèi)型的數(shù)據(jù)，如PDF、幻燈片、表格的截圖。交錯(cuò)文本和圖像矢量化：支持對(duì)文本和圖像交錯(cuò)的數(shù)據(jù)進(jìn)行矢量化處理，提高數(shù)據(jù)的靈活性和處理效率。關(guān)鍵視覺(jué)特征捕捉：從各種視覺(jué)內(nèi)容中捕捉關(guān)鍵特征，如字體大小、文本位置和空白等。無(wú)需復(fù)雜文檔解析：消除對(duì)復(fù)雜文檔解析的需求，提高處理效率和準(zhǔn)確性。語(yǔ)義搜索和RAG支持：為包含豐富視覺(jué)和文本的文檔提供無(wú)縫的檢索增強(qiáng)生成（RAG）和語(yǔ)義搜索能力。Voyage Multimodal-3 的技術(shù)原理Transformer 架構(gòu)：Voyage Multimodal-3 的架構(gòu)類(lèi)似于現(xiàn)代視覺(jué)-語(yǔ)言轉(zhuǎn)換器，用 Transformer 編碼器處理數(shù)據(jù)。統(tǒng)一編碼器：在同一 Transformer 編碼器中直接矢量化文本和圖像兩種模態(tài)的數(shù)據(jù)，確保文本和視覺(jué)特征被視為統(tǒng)一表征的一部分。特征提取：基于先進(jìn)的特征提取技術(shù)，捕捉文本和視覺(jué)內(nèi)容的關(guān)鍵特征，如字體大小、文本位置等。模態(tài)融合：融合不同模態(tài)的特征，模型能更好地理解和關(guān)聯(lián)文本和視覺(jué)信息。混合模態(tài)搜索：優(yōu)化混合模態(tài)搜索，減少模態(tài)差距現(xiàn)象，提高檢索質(zhì)量。Voyage Multimodal-3 的項(xiàng)目地址項(xiàng)目官網(wǎng)：voyage-multimodal-3GitHub倉(cāng)庫(kù)：https://github.com/voyage-ai/voyage-multimodal-3Voyage Multimodal-3 的應(yīng)用場(chǎng)景智能文檔檢索：在法律、金融、醫(yī)療等領(lǐng)域，檢索包含文本和圖表的復(fù)雜文檔，如合同、研究報(bào)告、醫(yī)療記錄等。知識(shí)庫(kù)搜索：對(duì)于包含豐富視覺(jué)和文本信息的知識(shí)庫(kù)，提供更準(zhǔn)確的語(yǔ)義搜索，幫助用戶快速找到所需信息。教育和學(xué)術(shù)研究：在學(xué)術(shù)研究中，幫助研究人員快速檢索包含圖表、公式和文本的學(xué)術(shù)論文和資料。電子商務(wù)：在電商平臺(tái)，用于圖像搜索，幫助用戶通過(guò)上傳圖片或描述來(lái)找到相關(guān)產(chǎn)品。內(nèi)容推薦系統(tǒng)：結(jié)合用戶的歷史行為和偏好，推薦包含圖像和文本的相關(guān)內(nèi)容，如新聞文章、博客帖子等。 
