Agent S 是一個創新的代理框架，旨在基于圖形用戶界面（GUI）實現人機交互的自動化。Agent S 基于模擬人類的操作方式，用鼠標和鍵盤直接與計算機交互，處理復雜的多步驟任務。Agent S 引入經驗增強的分層規劃方法，結合在線網絡知識和內部記憶，將復雜任務分解為可管理的子任務。Agent S 基于一種特定的代理-計算機接口（ACI），提高基于多模態大型語言模型（MLLMs）的GUI代理的推理和控制能力。Agent S 在 OSWorld 基準測試中表現出色，成功率顯著高于基線，證明在自動化計算機任務方面的有效性?？蚣懿粌H提高效率，基于自動化交互增強可訪問性，為有障礙人士提供與技術互動的新方式。
Agent S 的主要功能自主交互與任務自動化：?Agent S 基于圖形用戶界面（GUI）與計算機進行自主交互，自動化執行復雜的多步驟任務。經驗增強的分層規劃： 框架使用在線網絡知識和內部經驗分解復雜任務，生成一系列可執行的子任務。代理-計算機接口（ACI）： Agent S 用ACI 提升基于多模態大型語言模型（MLLMs）的GUI代理的推理和控制能力，確保與計算機界面的精確交互。持續學習和記憶更新： Agent S 用自我評估和經驗總結，不斷更新敘事記憶和情景記憶，適應環境變化和提升任務執行能力。跨操作系統的通用性： 框架在不同的操作系統上展示良好的通用性，能在多種環境下執行任務。Agent S 的技術原理經驗增強的分層規劃： Agent S 結合在線網絡搜索和內部經驗檢索，使用敘述記憶和情景記憶規劃和執行任務。代理-計算機接口（ACI）： ACI 作為抽象層，定義與環境交互的范式，用視覺輸入和圖像增強的可訪問性樹精確定位元素，限制代理的動作空間，確保安全和精確的執行。敘事記憶與情景記憶：?敘事記憶存儲高層次的任務經驗，而情景記憶則包含具體的子任務執行細節，兩者共同支持任務規劃和執行。自我評估與記憶更新： Agent S 基于自我評估模塊來總結經驗，用文本獎勵的形式更新內部記憶，實現持續學習。多模態大型語言模型（MLLMs）： 作為推理的核心，MLLMs 能處理和生成語言，理解環境變化，執行基于語言的原始動作，以控制 GUI。Agent S 的項目地址項目官網：simular.ai/agent-sGitHub倉庫：https://github.com/simular-ai/Agent-SarXiv技術論文：https://arxiv.org/pdf/2410.08164v1Agent S 的應用場景辦公自動化： 處理日常辦公任務，如數據錄入、日程安排、文檔創建和編輯，及辦公軟件（如文字處理、表格計算、演示制作等）的自動化操作。網頁交互： 執行網絡導航任務，如在線購物、填寫表單、搜索信息、管理電子郵件賬戶等。個人助理： 作為個人助理，幫助用戶管理日程、提醒重要事件、預訂服務（如餐廳、酒店、機票）等。客戶服務： 在客戶服務領域，自動處理常見的查詢和交易，提供24*7的自動化支持。教育和培訓： 自動化教學輔助任務，如創建教學材料、評估學生作業、管理在線課程平臺等。 
