MobileLLM是Meta為移動設(shè)備用例優(yōu)化設(shè)計的十億參數(shù)以下的大型語言模型，能解決云成本上升和延遲問題。MobileLLM基于深薄架構(gòu)、嵌入共享和分組查詢注意力機制等設(shè)計，實現(xiàn)在參數(shù)少于十億的情況下獲得高質(zhì)量的語言模型。MobileLLM-125M/350M在零樣本常識推理任務(wù)上相比先前的模型顯著提升準確率，且MobileLLM家族在聊天基準測試中顯示出對小型模型的顯著改進，在API調(diào)用任務(wù)中展示了與LLaMA-v2 7B相當?shù)臏蚀_性，突顯小模型在常見設(shè)備用例中的潛力。
MobileLLM的主要功能語言理解與生成：能理解和生成自然語言，支持多種語言相關(guān)的任務(wù)。零樣本常識推理：在沒有特定訓練的情況下，解決需要常識推理的問題。聊天交互：在對話系統(tǒng)中提供流暢的交互體驗，能理解和回應(yīng)用戶的問題。API調(diào)用：將自然語言指令轉(zhuǎn)換為API調(diào)用，實現(xiàn)與后端服務(wù)的交互。文本重寫與摘要：支持文本內(nèi)容的重寫和摘要生成，提高信息處理效率。數(shù)學問題解決：具備解決數(shù)學問題的能力，能理解和執(zhí)行數(shù)學計算。MobileLLM的技術(shù)原理深度與薄架構(gòu)：MobileLLM基于深而薄的模型架構(gòu)，即更多的層數(shù)和較少的參數(shù)，有助于模型學習更抽象的概念。SwiGLU激活函數(shù)：用SwiGLU激活函數(shù)替代傳統(tǒng)的ReLU激活函數(shù)，提高模型的非線性表達能力。嵌入共享：輸入和輸出嵌入層共享權(quán)重，減少模型參數(shù)量，且保持或提升模型性能。分組查詢注意力機制：減少鍵值頭的數(shù)量并重復(fù)使用它們，優(yōu)化注意力機制，提高模型效率。塊級層共享：在相鄰的模型塊之間共享權(quán)重，避免權(quán)重在內(nèi)存層之間的頻繁移動，減少延遲。量化兼容性：模型支持量化技術(shù)，如W8A8（8位權(quán)重和8位激活），讓模型在資源受限的設(shè)備上運行，且保持性能。MobileLLM的項目地址GitHub倉庫：https://github.com/facebookresearch/MobileLLMHuggingFace模型庫：https://huggingface.co/collections/facebook/mobilellm-6722be18cb86c20ebe113e95arXiv技術(shù)論文：https://arxiv.org/pdf/2402.14905MobileLLM的應(yīng)用場景移動聊天應(yīng)用：在移動聊天應(yīng)用中，MobileLLM提供即時的語言理解和生成能力，支持用戶與聊天機器人進行流暢的對話。語音助手：集成到智能手機和其他移動設(shè)備的語音助手中，幫助用戶基于自然語言命令執(zhí)行任務(wù)，如設(shè)置提醒、搜索信息等。內(nèi)容過濾和推薦：在內(nèi)容推薦系統(tǒng)中，MobileLLM能理解用戶的興趣和偏好，提供個性化的內(nèi)容推薦。教育應(yīng)用：在教育軟件中，MobileLLM作為語言學習助手，幫助用戶學習新語言，提供語法糾正和發(fā)音指導。移動搜索：在移動搜索應(yīng)用中，MobileLLM提供更智能的搜索建議和結(jié)果解釋，幫助用戶快速找到所需信息。 
