SlideChat是上海AI實驗室、廈門大學、華東師范大學等機構推出的，首個能理解千兆像素級別全切片圖像的視覺語言助手。SlideChat能生成詳盡的全切片圖像描述，針對多樣化的病理場景提供具有上下文關聯的復雜指令響應。基于訓練，SlideChat在多個臨床任務中展現出卓越的性能，包括顯微鏡檢查、診斷等。SlideChat用大規模的多模態指令數據集SlideInstruction和評估基準SlideBench，后者包含多個子集，覆蓋21種不同的臨床任務。
SlideChat的主要功能全切片圖像理解：處理和理解千兆像素級別的全切片病理圖像（WSIs），提供對圖像的深入分析。多模態對話能力：支持與用戶進行多模態對話，理解自然語言指令，結合視覺信息提供響應。復雜指令響應：響應和執行復雜的視覺查詢和病理學相關的指令。臨床任務覆蓋：在多種臨床設置中，如顯微鏡檢查和診斷，展現出卓越的性能，覆蓋21種不同的臨床任務。SlideChat的技術原理圖像分割：將全切片圖像分割成224×224像素的小塊（patches），便于計算處理。局部編碼器：每個圖像塊基于局部編碼器轉換為視覺嵌入，捕獲局部特征。幻燈片級編碼器：用幻燈片級編碼器處理局部編碼器的輸出，生成包含全局上下文信息的上下文嵌入。多模態投影：多模態投影器將視覺特征映射到與大型語言模型（LLM）對齊的統一空間。兩階段訓練：跨域對齊：在第一階段，模型學習將LLM的詞嵌入與從WSI提取的視覺特征對齊。視覺指令學習：在第二階段，模型學習如何準確響應特定于WSI的領域問題。SlideChat的項目地址項目官網：uni-medical.github.io/SlideChat.github.ioHuggingFace模型庫：https://huggingface.co/datasets/General-Medical-AI/SlideBencharXiv技術論文：https://arxiv.org/pdf/2410.11761SlideChat的應用場景病理診斷輔助：幫助病理學家分析和解釋全切片圖像，輔助診斷各種疾病，包括癌癥等嚴重病理狀況。教育和培訓：在醫學教育中，作為教學工具，幫助學生和住院醫師學習如何解讀病理切片，提高診斷技能。研究和開發：研究人員探索新的生物標志物，進行疾病亞型分類，及預測疾病進展和患者預后。臨床決策支持：集成到臨床工作流程中，提供實時的病理分析，幫助醫生做出更準確的治療決策。質量控制和標準化：在病理實驗室中，確保診斷的一致性和準確性，基于自動化分析減少人為錯誤。 
