智譜科技近日宣布開源其端側(cè)大語言和多模態(tài)模型GLM-Edge系列，這一舉措標(biāo)志著公司在端側(cè)真實(shí)落地使用場(chǎng)景中的一次重要嘗試。GLM-Edge系列由四種不同尺寸的模型組成，包括GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B和GLM-Edge-V-5B，分別針對(duì)手機(jī)、車機(jī)等移動(dòng)平臺(tái)以及PC等桌面平臺(tái)進(jìn)行了優(yōu)化。
基于GLM-4系列的技術(shù)積累，智譜的研究團(tuán)隊(duì)對(duì)模型結(jié)構(gòu)和尺寸進(jìn)行了調(diào)整，以實(shí)現(xiàn)模型性能、實(shí)機(jī)推理效果和落地便利度之間的最佳平衡。通過與合作伙伴的深入合作和推理優(yōu)化，GLM-Edge系列模型在一些端側(cè)平臺(tái)上展現(xiàn)出了卓越的運(yùn)行速度。特別是在高通驍龍8Elite平臺(tái)上，借助NPU算力和混合量化方案，1.5B對(duì)話模型和2B多模態(tài)模型能夠?qū)崿F(xiàn)每秒60tokens以上的解碼速度，應(yīng)用投機(jī)采樣技術(shù)后，解碼速度更是能達(dá)到每秒100tokens以上。
智譜開源的GLM-Edge系列模型不僅展示了公司在人工智能領(lǐng)域的技術(shù)實(shí)力，也為開發(fā)者和研究者提供了強(qiáng)大的工具和資源，以促進(jìn)端側(cè)AI應(yīng)用的發(fā)展和創(chuàng)新。
GLM-Edge合集:
https://modelscope.cn/collections/GLM-Edge-ff0306563d2844
