MMRole是中國人民大學高瓴人工智能學院研究團隊推出的的一種多模態角色扮演智能體（MRPA）框架。通過結合圖像和文本，使智能體以特定角色進行更自然和沉浸式的對話。MMRole包括一個大規模、高質量的多模態數據集和一個全面的評估方法，用于開發和評測MRPAs的性能。框架的推出，為創建能夠理解并生成與圖像相關的對話內容的智能體提供了新的可能性，拓展了在教育、娛樂等領域的應用前景。
MMRole主要功能多模態角色扮演數據集（MMRole-Data）：提供包含多個角色、圖像和對話的大規模數據集，用于訓練MRPAs理解和生成與圖像相關的對話。多模態角色扮演評估方法（MMRole-Eval）：八個詳細的評估指標，全面評估MRPAs的對話技巧、多模態理解能力和角色扮演質量。獎勵模型：開發獎勵模型，用于定量評估MRPAs的性能，通過與構建的標準答案比較來評分。MRPA開發：支持開發專門的多模態角色扮演智能體，如MMRole-Agent，在多模態信息理解和角色扮演方面表現出色。開源資源：提供數據、代碼和模型的開源訪問，促進研究社區的進一步研究和開發。MMRole的技術原理MMRole-Data：一個大規模、高質量的多模態角色扮演數據集，包含85個不同的角色、超過11,000張圖像和14,000段對話。對話可以是單輪或多輪的，圍繞圖像展開，旨在訓練MRPAs進行多模態對話。MMRole-Eval：一套全面的評估方法，包含三個維度下的八項評測指標，用于評估MRPAs的性能。指標涵蓋了基礎對話技巧、多模態理解能力和角色扮演質量。為定量評估MRPAs，研究團隊開發專門的獎勵模型，模型通過比較待評估的MRPA與構建的標準答案之間的相對性能來進行評分。MMRole的項目地址GitHub倉庫：https://github.com/YanqiDai/MMRolearXiv技術論文：https://arxiv.org/pdf/2408.04203MMRole的應用場景教育與培訓：在語言學習或歷史教育中，MRPAs扮演教師或歷史人物，通過互動對話提供更生動的學習體驗。娛樂與游戲：在視頻游戲或互動故事中，MRPAs作為非玩家角色（NPCs），提供豐富的角色扮演和沉浸式游戲體驗。客戶服務：在客戶支持系統中，MRPAs模擬客服代表，通過多模態交互提供更自然和有效的用戶支持。社交模擬：在社交技能訓練或心理輔導中，MRPAs模擬不同的社交角色，幫助用戶練習和提高社交互動能力。內容創作：MRPAs輔助內容創作者，通過角色扮演提供創意靈感，或者在創作過程中模擬角色對話。 
