AMD-135M是AMD推出的首款小型語言模型（SLM），為特定用例提供性能與資源消耗之間的平衡?；贚LaMA2模型架構，在AMD Instinct MI250加速器上訓練，基于670億個token，AMD-135M分為兩個版本，通用文本的AMD-Llama-135M和針對代碼的AMD-Llama-135M-code。AMD-135M采用推測解碼技術，能在每次前向傳遞中生成多個token，提高推理速度減少內存占用。在性能方面，AMD-135M 在各種自然語言處理任務上的表現與市場上其他同類模型相當。例如，在 Humaneval 數據集上使用 MI250 GPU 時，實現大約 32.31% 的通過率，是一個強大的性能指標 。
AMD-135M的主要功能文本生成：能生成連貫的文本，支持聊天機器人、內容創(chuàng)作等應用。代碼生成：基于微調版本AMD-Llama-135M-code，支持代碼生成和輔助編程。自然語言理解：理解輸入文本的意圖和上下文，用于問答系統、摘要生成等。多平臺兼容性：在不同的硬件平臺上運行，包括AMD的GPU和CPU。AMD-135M的技術原理推測解碼：通過小型草稿模型生成候選token，再由大型目標模型驗證，提高推理效率。自回歸方法：傳統的生成方法，每次前向傳遞生成一個token，但通過推測解碼技術得到優(yōu)化。多頭注意力機制：使用多頭注意力機制來提高模型對文本中不同部分之間關系的捕捉能力。位置編碼：使用相對位置編碼（RoPE）來保持序列中單詞的順序信息。激活函數：使用Swiglu激活函數，這是一種專為語言模型設計的激活函數。Layer Norm：使用RMSNorm（Root Mean Square Normalization）來穩(wěn)定訓練過程。模型架構：基于LLaMA-2模型架構，具有12層，768隱藏單元，以及其他技術規(guī)格。AMD-135M的項目地址項目官網：amd-first-slm-135m-model-fuels-ai-advancementsHuggingFace模型庫：https://huggingface.co/amd/AMD-Llama-135mAMD-135M的應用場景聊天機器人：作為聊天機器人的后端，提供自然語言理解和生成能力，實現與用戶的互動對話。內容創(chuàng)作：輔助寫作，生成文章、故事或其他文本內容的草稿。編程輔助：基于AMD-Llama-135M-code版本，幫助開發(fā)者生成代碼片段，提供編程建議和自動補全。語言翻譯：模型主要針對英語，但架構適應其他語言，用于機器翻譯任務。文本摘要：自動生成文本的摘要，用在新聞、文章或報告的快速概覽。 
