AutoGLM-Web是模擬用戶(hù)操作的AI瀏覽器助手,基于大型語(yǔ)言模型構(gòu)建,能執(zhí)行網(wǎng)頁(yè)訪(fǎng)問(wèn)、信息檢索、內(nèi)容總結(jié)等任務(wù)。基于簡(jiǎn)單的文字或語(yǔ)音指令,AutoGLM-Web能在私域網(wǎng)站上完成高級(jí)檢索、模擬用戶(hù)瀏覽網(wǎng)頁(yè)的過(guò)程,快速批量處理多個(gè)網(wǎng)頁(yè)內(nèi)容。AutoGLM-Web能結(jié)合歷史郵件信息自動(dòng)回復(fù)郵件。模型用自進(jìn)化在線(xiàn)課程強(qiáng)化學(xué)習(xí)框架WEBRL,用自適應(yīng)學(xué)習(xí)策略不斷迭代改進(jìn),持續(xù)提高性能。AutoGLM-Web不依賴(lài)特定API或任務(wù)場(chǎng)景,操作邏輯與人類(lèi)相似,輔助用戶(hù)在日常生活和工作中高效地使用電子設(shè)備。目前,AutoGLM-Web在“智譜清言”插件對(duì)外開(kāi)放使用。
AutoGLM-Web的主要功能網(wǎng)頁(yè)瀏覽與交互:模擬用戶(hù)在瀏覽器中的行為,如點(diǎn)擊、滾動(dòng)和輸入。信息檢索:在指定網(wǎng)站上進(jìn)行高級(jí)檢索,查找特定信息。內(nèi)容總結(jié):閱讀、總結(jié)網(wǎng)頁(yè)內(nèi)容,提煉關(guān)鍵信息。郵件回復(fù):結(jié)合歷史郵件信息,自動(dòng)撰寫(xiě)郵件回復(fù)。自動(dòng)化任務(wù)執(zhí)行:根據(jù)用戶(hù)指令完成一系列自動(dòng)化的網(wǎng)頁(yè)操作。AutoGLM-Web的技術(shù)原理基于大型語(yǔ)言模型(LLM): 用先進(jìn)的語(yǔ)言模型理解自然語(yǔ)言指令,轉(zhuǎn)化為具體的網(wǎng)頁(yè)操作。自進(jìn)化在線(xiàn)課程強(qiáng)化學(xué)習(xí)框架(WEBRL): 在線(xiàn)學(xué)習(xí)不斷優(yōu)化模型,適應(yīng)不斷變化的網(wǎng)頁(yè)環(huán)境和任務(wù)需求。HTML簡(jiǎn)化算法: 將復(fù)雜的網(wǎng)頁(yè)HTML代碼簡(jiǎn)化,提取關(guān)鍵信息,便于模型理解和操作。混合人機(jī)數(shù)據(jù)構(gòu)建: 結(jié)合自動(dòng)化生成和人工標(biāo)注的數(shù)據(jù),創(chuàng)建高質(zhì)量的訓(xùn)練集,提升模型的準(zhǔn)確性和泛化能力。多模態(tài)學(xué)習(xí): 融合視覺(jué)問(wèn)答、視覺(jué)定位等多種模態(tài)信息,提高模型對(duì)網(wǎng)頁(yè)內(nèi)容的理解和操作能力。AutoGLM-Web的項(xiàng)目地址GitHub倉(cāng)庫(kù):https://github.com/THUDM/AutoWebGLMarXiv技術(shù)論文:https://arxiv.org/pdf/2404.03648AutoGLM-Web的應(yīng)用場(chǎng)景自動(dòng)化辦公:在辦公環(huán)境中,AutoGLM-Web能自動(dòng)化執(zhí)行如數(shù)據(jù)錄入、信息匯總、報(bào)告生成等任務(wù),減少重復(fù)性工作。在線(xiàn)研究與學(xué)習(xí):幫助學(xué)生或研究人員在線(xiàn)檢索資料、整理研究相關(guān)的網(wǎng)頁(yè)信息,輔助撰寫(xiě)學(xué)術(shù)論文。電子商務(wù):在電子商務(wù)平臺(tái)上,AutoGLM-Web用在自動(dòng)收集產(chǎn)品信息、比較價(jià)格、追蹤訂單狀態(tài)等。客戶(hù)服務(wù):用自動(dòng)回復(fù)郵件和處理常見(jiàn)查詢(xún),AutoGLM-Web能提升客戶(hù)服務(wù)的效率和質(zhì)量。內(nèi)容策劃與管理:在內(nèi)容創(chuàng)作和管理領(lǐng)域,幫助內(nèi)容團(tuán)隊(duì)快速搜集素材、整理內(nèi)容大綱和編輯文案。 
