近年來，人工智能（AI）在醫(yī)療行業(yè)的影響越來越顯著，特別是在疾病診斷和治療規(guī)劃方面。醫(yī)學(xué)大型視覺語言模型(Med-LVLMs)的發(fā)展，為實(shí)現(xiàn)更智能的醫(yī)療診斷工具提供了新的可能性。然而，這些模型在實(shí)際應(yīng)用中，常常面臨一個(gè)不容忽視的問題，那就是事實(shí)幻覺。這種現(xiàn)象不僅可能導(dǎo)致錯(cuò)誤的診斷結(jié)果，還可能對(duì)患者的健康產(chǎn)生嚴(yán)重的后果。

為了解決這個(gè)困擾醫(yī)學(xué) AI 的問題，研究人員們開發(fā)了一種全新的多模態(tài)檢索增強(qiáng)生成系統(tǒng)，命名為 MMed-RAG。這個(gè)系統(tǒng)的設(shè)計(jì)目標(biāo)是提高 Med-LVLMs 的事實(shí)準(zhǔn)確性，從而增強(qiáng)醫(yī)療診斷的可靠性。MMed-RAG 的最大亮點(diǎn)在于它具備域感知檢索機(jī)制，這使得它能夠在處理不同類型的醫(yī)學(xué)影像時(shí)表現(xiàn)得更加高效和準(zhǔn)確。

具體來說，MMed-RAG 采用了一個(gè)域識(shí)別模塊，這個(gè)模塊的作用是根據(jù)輸入的醫(yī)學(xué)影像，自動(dòng)選擇最合適的檢索模型。這種自適應(yīng)的選擇方式，不僅提高了檢索的準(zhǔn)確性，還確保了系統(tǒng)能夠快速響應(yīng)各種醫(yī)學(xué)影像的需求。比如，當(dāng)醫(yī)生上傳一張放射學(xué)的圖像時(shí)，系統(tǒng)能夠即時(shí)識(shí)別出這是哪個(gè)領(lǐng)域的圖像，并選擇相應(yīng)的模型進(jìn)行分析。

除此之外，MMed-RAG 還引入了一種自適應(yīng)校準(zhǔn)的方法，用于智能選擇檢索到的上下文數(shù)量。以往，很多系統(tǒng)在檢索時(shí)會(huì)一次性獲取大量信息，但這些信息未必都對(duì)最終的診斷有幫助。MMed-RAG 通過自適應(yīng)校準(zhǔn)，能夠在不同場景下選擇最合適的上下文信息，從而提升信息的利用效率。

在這套系統(tǒng)的基礎(chǔ)上，MMed-RAG 還結(jié)合了基于 RAG 的偏好微調(diào)策略。這一策略的目的在于改善模型在生成回答時(shí)的跨模態(tài)對(duì)齊和整體對(duì)齊。

具體來說，系統(tǒng)設(shè)計(jì)了一些偏好對(duì)，鼓勵(lì)模型在生成回答時(shí)充分利用醫(yī)學(xué)影像，即使某些回答在沒有影像的情況下是正確的，也要盡量避免。這樣一來，不僅提高了診斷的準(zhǔn)確性，也能幫助模型在面對(duì)不確定性時(shí)更好地理解檢索到的上下文信息，避免受到無關(guān)數(shù)據(jù)的干擾。

通過在多個(gè)醫(yī)學(xué)數(shù)據(jù)集上的測(cè)試，MMed-RAG 的表現(xiàn)非常出色。研究人員發(fā)現(xiàn)，這個(gè)系統(tǒng)平均提高了43.8% 的事實(shí)準(zhǔn)確性，極大地增強(qiáng)了醫(yī)學(xué) AI 的可靠性。這一成果不僅為醫(yī)療領(lǐng)域的智能化進(jìn)程注入了新的動(dòng)力，也為未來的醫(yī)療診斷工具發(fā)展提供了可借鑒的思路。

隨著 MMed-RAG 的問世，我們可以期待，未來的醫(yī)療 AI 將能夠更準(zhǔn)確地服務(wù)于醫(yī)生和患者，真正實(shí)現(xiàn)智能醫(yī)療的愿景。

論文:https://arxiv.org/html/2410.13085v1

項(xiàng)目入口:https://github.com/richard-peng-xia/MMed-RAG

劃重點(diǎn):

?? MMed-RAG 系統(tǒng)通過域感知檢索機(jī)制提升了對(duì)不同醫(yī)學(xué)影像的處理能力。

?? 自適應(yīng)校準(zhǔn)方法確保了檢索上下文的選擇更加精準(zhǔn)，信息利用效率更高。

?? 實(shí)驗(yàn)結(jié)果表明，MMed-RAG 在多個(gè)醫(yī)學(xué)數(shù)據(jù)集上的事實(shí)準(zhǔn)確性提升了43.8%。