HunyuanOCR 是騰訊混元團(tuán)隊推出的開源的端到端OCR視覺語言模型。依托混元原生多模態(tài)架構(gòu)，僅用1B參數(shù)就實現(xiàn)了多項OCR任務(wù)的SOTA性能。具備高效輕量的架構(gòu)，單指令單推理即可輸出最優(yōu)結(jié)果，相比傳統(tǒng)級聯(lián)方案更便捷高效。支持100多種語言，無論是單語言還是多語言混合文檔都能應(yīng)對自如。HunyuanOCR 覆蓋了經(jīng)典OCR任務(wù)，包括文本檢測與識別、復(fù)雜文檔解析、開放字段信息抽取、視頻字幕抽取等，支持端到端拍照翻譯和文檔問答。
HunyuanOCR的主要功能文本檢測與識別：能檢測并識別圖片中的文字，輸出文本內(nèi)容及坐標(biāo)信息，適用于文檔、藝術(shù)字、街景、手寫等多種場景。復(fù)雜文檔解析：支持多語種文檔的電子化處理，將文檔中的文本內(nèi)容按閱讀順序組織，公式以 LaTeX 格式表示，表格以 HTML 格式表達(dá)。開放字段信息抽取：對常見卡證和票據(jù)中的感興趣字段（如姓名、地址、單位等）進(jìn)行標(biāo)準(zhǔn) JSON 格式解析，方便信息提取和后續(xù)處理。視頻字幕抽取：可自動化抽取視頻中的字幕，包括單語和雙語字幕，適用于視頻內(nèi)容處理和翻譯場景。圖像文本翻譯：支持14種小語種（如德語、西班牙語、日語等）翻譯成中文或英文，以及中英互譯，適用于跨語言文檔處理和交流。HunyuanOCR的技術(shù)原理端到端架構(gòu)：采用全端到端的訓(xùn)練和推理范式，模型直接從輸入圖像到輸出結(jié)果，無需復(fù)雜的級聯(lián)處理，提高了效率和準(zhǔn)確性。多模態(tài)融合：基于混元原生多模態(tài)架構(gòu)，將視覺信息和語言信息深度融合，使模型能更好地理解和解析圖像中的文本內(nèi)容。高質(zhì)量數(shù)據(jù)訓(xùn)練：使用大規(guī)模高質(zhì)量的應(yīng)用導(dǎo)向數(shù)據(jù)進(jìn)行訓(xùn)練，結(jié)合在線強(qiáng)化學(xué)習(xí)，使模型在多種場景下表現(xiàn)出色，具有很強(qiáng)的泛化能力。輕量化設(shè)計：僅1B參數(shù)量，通過高效的模型結(jié)構(gòu)設(shè)計，在保持高性能的同時降低了計算成本和部署難度，適合多種硬件環(huán)境。多語言支持：通過優(yōu)化模型的語言理解和生成能力，支持100多種語言，能處理多語言混合的復(fù)雜文檔，適應(yīng)全球化的應(yīng)用場景。HunyuanOCR的項目地址項目官網(wǎng)：https://hunyuan.tencent.com/vision/zh?tabIndex=0Github倉庫：https://github.com/Tencent-Hunyuan/HunyuanOCRHuggingface模型庫：https://huggingface.co/tencent/HunyuanOCR技術(shù)報告：https://github.com/Tencent-Hunyuan/HunyuanOCR/blob/main/HunyuanOCR_Technical_Report.pdf在線體驗：https://huggingface.co/spaces/tencent/HunyuanOCRHunyuanOCR的應(yīng)用場景文檔處理：用于掃描或拍攝的多語種文檔電子化，支持復(fù)雜文檔解析，包括文本、公式（LaTeX格式）和表格（HTML格式）的提取與組織。票據(jù)字段抽取：對常見票據(jù)（如發(fā)票、收據(jù)）中的關(guān)鍵字段（如金額、日期、編號等）進(jìn)行快速準(zhǔn)確的提取和解析。視頻字幕提取：自動化提取視頻中的字幕，支持單語和雙語字幕，適用于視頻內(nèi)容制作和翻譯。拍照翻譯：支持多種小語種的拍照翻譯功能，可將圖片中的文字翻譯成中文或英文，適用于旅行、學(xué)習(xí)等場景。信息抽取：從圖像中提取特定字段或信息，如從身份證、名片中提取姓名、地址等，支持多種格式輸出。視頻內(nèi)容創(chuàng)作：幫助視頻創(chuàng)作者快速提取視頻中的文字內(nèi)容，用于字幕制作、內(nèi)容分析等。教育與學(xué)習(xí)：輔助學(xué)生和研究人員快速提取文獻(xiàn)、教材中的關(guān)鍵信息，支持多語言學(xué)習(xí)和研究。 
