mPLUG-DocOwl 2是由阿里巴巴通義實(shí)驗(yàn)室mPLUG團(tuán)隊(duì)推出的用于多頁文檔理解的多模態(tài)大型語言模型。在不依賴光學(xué)字符識(shí)別（OCR）技術(shù)的情況下，通過高分辨率文檔圖像壓縮技術(shù)，實(shí)現(xiàn)對(duì)文檔圖片的高效理解和處理。mPLUG-DocOwl 2在多頁文檔理解基準(zhǔn)測試中達(dá)到了新的最高標(biāo)準(zhǔn)（SOTA），每頁文檔圖像消耗324個(gè)token，降低顯存占用和首包時(shí)間，提高處理速度。模型的訓(xùn)練分為三個(gè)階段：單頁預(yù)訓(xùn)練、多頁預(yù)訓(xùn)練和多任務(wù)指令微調(diào)。mPLUG-DocOwl 2支持理解單頁文檔，還能處理多頁文檔中的復(fù)雜問題，如跨頁內(nèi)容關(guān)聯(lián)和結(jié)構(gòu)解析。
mPLUG-DocOwl2的主要功能多頁文檔理解：在不依賴OCR技術(shù)的情況下，直接從多頁文檔圖像中提取和理解信息。高分辨率圖像處理：通過高分辨率文檔圖像壓縮模塊，將每頁文檔圖像壓縮成324個(gè)視覺token，減少顯存占用和首包時(shí)間。多頁問答能力：回答有關(guān)多頁文檔內(nèi)容的問題，提供詳細(xì)的解釋以及相關(guān)頁碼。文檔結(jié)構(gòu)解析：解析并表示多頁文檔的層級(jí)結(jié)構(gòu)，以JSON格式輸出，便于進(jìn)一步的數(shù)據(jù)處理和分析。跨頁內(nèi)容關(guān)聯(lián)：理解和關(guān)聯(lián)多頁文檔中跨頁的內(nèi)容，提供跨頁結(jié)構(gòu)理解。高效處理：在單個(gè)A100-80G GPU上，同時(shí)處理多達(dá)60頁的高清文檔圖片，提高處理效率。mPLUG-DocOwl2的技術(shù)原理高分辨率文檔圖像壓縮（High-resolution DocCompressor）：基于低分辨率全局視覺特征作為指導(dǎo)，通過cross-attention機(jī)制將高分辨率文檔圖像壓縮成較少的視覺token。Shape-adaptive Cropping：自適應(yīng)裁剪模塊根據(jù)文檔的形狀和大小進(jìn)行切割，來適應(yīng)不同頁面的布局。視覺特征提取：使用視覺編碼器（如ViT）提取每個(gè)切片的視覺特征，并通過H-Reducer模塊進(jìn)行特征合并和維度對(duì)齊。跨注意力機(jī)制：在壓縮過程中，使用全局圖特征作為查詢，切片特征作為鍵值對(duì)，通過cross-attention層實(shí)現(xiàn)特征壓縮。全局與局部視覺特征結(jié)合：結(jié)合全局視覺特征（捕捉布局信息）和局部視覺特征（保留文本和圖像細(xì)節(jié)），實(shí)現(xiàn)更準(zhǔn)確的文檔理解。mPLUG-DocOwl2的項(xiàng)目地址GitHub倉庫：https://github.com/X-PLUG/mPLUG-DocOwl/tree/main/DocOwl2arXiv技術(shù)論文：https://arxiv.org/pdf/2409.03420v2mPLUG-DocOwl2的應(yīng)用場景法律文件分析：自動(dòng)化解析法律文件和案例，提取關(guān)鍵信息，支持法律研究和案件準(zhǔn)備。醫(yī)療記錄管理：從醫(yī)療記錄和報(bào)告中提取重要數(shù)據(jù)，支持病人護(hù)理、研究和行政管理。學(xué)術(shù)研究：幫助研究人員快速理解和總結(jié)大量文獻(xiàn)，加速科學(xué)發(fā)現(xiàn)和知識(shí)創(chuàng)新。金融報(bào)告分析：自動(dòng)化處理年度報(bào)告、財(cái)務(wù)報(bào)表和其他金融文檔，提取關(guān)鍵財(cái)務(wù)指標(biāo)和趨勢。政府文檔處理：自動(dòng)化處理政府發(fā)布的公告、法規(guī)和政策文件，提高政府服務(wù)效率。 
