TableGPT2是浙江大學(xué)推出的新型大型多模態(tài)模型，針對表格數(shù)據(jù)的整合與處理。首次將結(jié)構(gòu)化數(shù)據(jù)作為獨立模態(tài)進行訓(xùn)練，直接理解并操作數(shù)據(jù)庫、Excel等數(shù)據(jù)，執(zhí)行SQL查詢、數(shù)據(jù)分析等任務(wù)。模型包含創(chuàng)新的表格編碼器，強化對不規(guī)則表格和模糊查詢的處理能力，在多個基準(zhǔn)測試中性能顯著提升。
TableGPT2的主要功能表格數(shù)據(jù)理解：TableGPT2能理解復(fù)雜的表格數(shù)據(jù)，包括不規(guī)則表格和模糊查詢的處理。直接計算與分析：模型直接在表格數(shù)據(jù)上執(zhí)行計算和分析任務(wù)，如計算新的出口總額并與實際數(shù)據(jù)比較。SQL執(zhí)行：理解和執(zhí)行SQL查詢，直接與數(shù)據(jù)庫交互。數(shù)據(jù)增刪改查：支持對數(shù)據(jù)庫或數(shù)據(jù)倉庫中的數(shù)據(jù)進行增加、刪除、修改和查詢操作。多模態(tài)處理：結(jié)合自然語言處理和結(jié)構(gòu)化數(shù)據(jù)處理的能力，讓模型同時處理文本和表格數(shù)據(jù)。TableGPT2的技術(shù)原理結(jié)構(gòu)化數(shù)據(jù)作為獨立模態(tài)：TableGPT2將結(jié)構(gòu)化數(shù)據(jù)視為一種獨立的模態(tài)，類似于圖像或文本，模型能直接理解和處理數(shù)據(jù)庫和Excel中的數(shù)據(jù)。表格編碼器：模型包含一個專門的表格編碼器，用于讀取和解釋表格數(shù)據(jù)。編碼器處理整個表格，生成每列的緊湊嵌入，基于雙維注意力機制，無需位置嵌入，同時進行分層特征提取，確保行和列的關(guān)系被有效捕捉。雙維注意力機制：TableGPT2用雙維注意力機制處理表格數(shù)據(jù)，支持模型捕捉表格的行和列之間的關(guān)系，同時保持對表格結(jié)構(gòu)的感知。列對比學(xué)習(xí)方法：基于列對比學(xué)習(xí)方法，模型被鼓勵去學(xué)習(xí)有意義的、結(jié)構(gòu)感知的語義表示，有助于模型更好地理解和解釋表格數(shù)據(jù)。Q-former樣式適配器：用Q-former樣式的適配器對齊表格嵌入和文本輸入，引入可學(xué)習(xí)的查詢，及特殊標(biāo)記區(qū)分表格特征與文本，讓模型同時處理兩種模態(tài)。TableGPT2的項目地址HuggingFace模型庫：https://huggingface.co/tablegpt/TableGPT2-7BarXiv技術(shù)論文：https://arxiv.org/pdf/2411.02059TableGPT2的應(yīng)用場景商業(yè)智能與數(shù)據(jù)分析：基于自然語言處理能力，TableGPT2從復(fù)雜的數(shù)據(jù)集中提取信息，生成報告和儀表板，幫助決策者快速獲取洞察。數(shù)據(jù)庫與數(shù)據(jù)倉庫交互：將自然語言查詢轉(zhuǎn)換為SQL語句，TableGPT2直接與數(shù)據(jù)庫進行交互，執(zhí)行數(shù)據(jù)查詢和操作。財務(wù)報告與預(yù)算規(guī)劃：TableGPT2分析財務(wù)報表，輔助進行財務(wù)健康評估和預(yù)算規(guī)劃。市場分析與銷售預(yù)測：基于分析市場數(shù)據(jù)和銷售趨勢，TableGPT2幫助企業(yè)進行競爭分析和銷售預(yù)測。供應(yīng)鏈優(yōu)化：TableGPT2分析庫存和物流數(shù)據(jù)，優(yōu)化庫存水平和配送路線。 
