Pixtral 12B 是法國AI初創(chuàng)公司Mistral推出的首款多模態(tài)AI模型，能同時處理圖像和文本。模型擁有 120 億參數(shù)，模型大小約為 24GB，基于文本模型 Nemo 12B構(gòu)建，能回答任意數(shù)量、任意尺寸圖像的問題。Pixtral 12B 能執(zhí)行為圖像添加描述、統(tǒng)計照片中物體數(shù)量等任務(wù)。用戶可以下載、微調(diào) Pixtral 12B 模型，依據(jù) Apache 2.0 許可證使用。Pixtral 12B 將很快在 Mistral 的聊天機(jī)器人和 API 服務(wù)平臺 Le Chat 及 Le Plateforme 上開放測試。
Pixtral 12B的主要功能圖像和文本處理：Pixtral 12B 能同時處理圖像和文本數(shù)據(jù)，能理解和回應(yīng)與圖像內(nèi)容相關(guān)的問題。多模態(tài)交互：模型支持通過自然語言處理圖像，用戶可以上傳圖片或提供圖片鏈接，對圖像內(nèi)容提出問題。高參數(shù)量：擁有 120 億參數(shù)，模型在處理復(fù)雜任務(wù)時具有更高的能力和靈活性。輕量級設(shè)計：盡管參數(shù)眾多，但模型的大小約為 24GB，相對較小的體積部署更加便捷，降低了能耗和硬件要求。專用視覺編碼器：模型配備了專用視覺編碼器，支持處理高達(dá) 1024×1024 分辨率的圖像，適用高級圖像處理任務(wù)。開源和可定制：Pixtral 12B 根據(jù) Apache 2.0 許可證開源，用戶可以自由下載、微調(diào)和部署模型，適應(yīng)特定的應(yīng)用場景。高性能：在多項基準(zhǔn)測試中表現(xiàn)出色，包括 MMMU、Mathvista、ChartQA、DocVQA 等，顯示在多模態(tài)理解方面的強(qiáng)大性能。Pixtral 12B的技術(shù)原理多模態(tài)能力：Pixtral 12B 能理解和處理圖像和文本數(shù)據(jù)，能回答與圖像內(nèi)容相關(guān)的復(fù)雜問題。參數(shù)和架構(gòu)：模型擁有120億參數(shù)，模型大小約為24GB，這些參數(shù)為模型提供了強(qiáng)大的解題能力。基于40層的網(wǎng)絡(luò)結(jié)構(gòu)，具有14,336個隱藏維度和32個注意力頭。視覺編碼器：Pixtral 12B 配備了專門的視覺編碼器，可以處理高達(dá) 1024×1024 分辨率的圖像。優(yōu)化推理：模型使用 TensorRT-LLM 引擎進(jìn)行優(yōu)化，提高推理性能。包括動態(tài)批處理、KV 緩存和量化支持，在 NVIDIA GPU 上的后訓(xùn)練量化。Pixtral 12B的項目地址項目官網(wǎng)：maginative.com/article/mistral-ai-unveils-pixtral-12bHuggingFace模型庫：https://huggingface.co/mistral-community/pixtral-12b-240910Pixtral 12B的應(yīng)用場景圖像和文本理解：適用于需要同時解析視覺和語言信息的場景，如圖像標(biāo)注和內(nèi)容分析。圖像描述生成：模型可以為圖像生成描述性文字，適用于社交媒體圖片描述、圖像搜索結(jié)果優(yōu)化等。視覺問答：用戶可以提問獲取圖像內(nèi)容的信息，模型能理解問題并提供準(zhǔn)確的答案，適用于智能助手和教育工具。內(nèi)容創(chuàng)作：Pixtral 12B 可以輔助內(nèi)容創(chuàng)作者，通過圖像和文本的結(jié)合提供創(chuàng)意靈感，或者自動生成文章配圖。智能客服：在客戶服務(wù)領(lǐng)域，模型可以幫助理解用戶上傳的圖像問題，提供相應(yīng)的文本回答。醫(yī)療影像分析：在醫(yī)療領(lǐng)域，模型可以輔助分析醫(yī)學(xué)影像，提供診斷支持。 
