GOT-OCR 2.0是一種先進的光學字符識別（OCR）模型，推動OCR技術進入2.0時代。GOT-OCR 2.0端到端的模型由高壓縮編碼器和長上下文解碼器組成，能處理包括文本、數學公式、分子式、圖表、樂譜和幾何圖形在內的多種光學字符。GOT-OCR 2.0支持多種語言，尤其是中文和英文，能輸出多種格式化結果，如Markdown和LaTeX。模型具備交互式OCR功能，包括區域級識別和動態分辨率策略、多頁OCR技術，適用于高分辨率圖像和批量文檔處理。GOT-OCR 2.0具有580M參數，模型尺寸為1.43GB，提供精準、高效的OCR解決方案。
GOT-OCR2.0的主要功能多語言和多模態識別：支持多種語言的文本識別，包括中文和英文，及手寫體和印刷體。多樣化輸入輸出：能處理照片、文檔、切片等多種輸入格式，支持純文本、Markdown、TikZ、SMILES、Kern等輸出格式。長文本處理：解碼器支持長達8K的token，適用于處理學術論文、法律文件等長文本資料。交互式OCR功能：通過坐標或顏色引導的區域級識別，提供更靈活的用戶體驗。動態分辨率策略：適應超高分辨率圖像，如大幅海報或拼接PDF頁面，保持識別準確性。多頁OCR技術：批量處理多頁文檔，提高長篇PDF文件或多圖片文檔的處理效率。GOT-OCR2.0的技術原理編碼器-解碼器架構：編碼器：負責將輸入的圖像壓縮成一系列的圖像token，token捕捉圖像中的視覺信息。解碼器：接收編碼器輸出的圖像token，轉換為文本輸出。解碼器支持長上下文，能處理長文本。高壓縮率編碼器：編碼器將1024×1024像素的圖像壓縮成256×1024尺寸的圖像token，有助于處理高分辨率圖像。長上下文解碼器：解碼器支持長達8K的token序列，能處理包含大量文本的長文檔。多階段訓練策略：預訓練階段：編碼器在大量文本數據上進行預訓練，學習文本的視覺表示。聯合訓練階段：編碼器與新的解碼器一起訓練，適應更廣泛的OCR任務。后訓練階段：對解碼器進行進一步訓練，支持細粒度OCR、動態分辨率和多頁OCR等高級功能。GOT-OCR2.0的項目地址GitHub倉庫：https://github.com/Ucas-HaoranWei/GOT-OCR2.0HuggingFace模型庫：https://huggingface.co/stepfun-ai/GOT-OCR2_0arXiv技術論文：https://arxiv.org/pdf/2409.01704GOT-OCR2.0的應用場景文檔數字化：紙質文檔（如書籍、手稿、法律文件、學術論文等）轉換為電子格式，便于存儲、檢索和編輯。場景文本識別：在自然場景中識別和提取文本，如街道標志、廣告牌、菜單等。票據處理：自動識別和提取發票、收據、賬單上的文本信息，簡化財務和會計流程。身份驗證和安全：在需要驗證個人身份的場景中，如銀行業務、機場安檢等，識別護照、身份證或駕駛執照上的信息。物流和運輸：自動識別包裹上的條形碼和地址信息，提高物流分揀和配送的效率。醫療記錄管理：識別和數字化醫生的手寫處方、病歷記錄和其他醫療文檔。 
