近日,亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)發(fā)布了一項新功能,允許用戶通過 Amazon Bedrock Custom Model Import 輕松部署開源的 GPT-OSS 模型。

這一新功能支持包含20億和120億參數(shù)的 GPT-OSS 變體,幫助企業(yè)在保留 API 兼容性的前提下,遷移現(xiàn)有應(yīng)用程序到 AWS 平臺。使用此功能,用戶只需將模型文件上傳至 Amazon S3,然后通過 Amazon Bedrock 控制臺啟動導(dǎo)入,AWS 會自動處理 GPU 的配置、推理服務(wù)器的搭建和按需自動擴(kuò)展,用戶可以專注于應(yīng)用開發(fā)。

GPT-OSS 模型是 OpenAI 推出的首批開源語言模型,適用于多種應(yīng)用,包括推理和工具使用。用戶可以根據(jù)需求選擇合適的模型,其中 GPT-OSS-20B 適合速度和效率至關(guān)重要的場景,而 GPT-OSS-120B 則更適合復(fù)雜推理任務(wù)。兩款模型均采用專家混合架構(gòu),僅在請求時激活最相關(guān)的模型組件,保證高效性能。

部署過程包含四個主要步驟:下載并準(zhǔn)備模型文件、將文件上傳至 Amazon S3、使用 Amazon Bedrock 進(jìn)行模型導(dǎo)入以及通過 OpenAI 兼容的 API 調(diào)用測試模型。用戶需確保擁有 AWS 賬號及適當(dāng)權(quán)限,并在目標(biāo)區(qū)域創(chuàng)建 S3存儲桶。完成模型導(dǎo)入后,用戶可使用熟悉的 OpenAI 聊天完成 API 格式進(jìn)行測試,確保模型正常運行。此外,遷移到 AWS 的過程代碼更改極少,僅需更改調(diào)用方式,消息結(jié)構(gòu)保持不變。

在使用新功能的同時,AWS 還建議用戶遵循一些最佳實踐,如文件驗證和安全性設(shè)置,以確保模型部署的順利進(jìn)行。AWS 將繼續(xù)擴(kuò)大 Bedrock 服務(wù)的區(qū)域支持,以滿足更多用戶需求。

劃重點:

?? AWS 推出 Amazon Bedrock Custom Model Import 功能,支持 GPT-OSS 模型的輕松部署。

?? 用戶只需上傳模型文件,AWS 將自動處理基礎(chǔ)設(shè)施配置與擴(kuò)展。

?? 遷移至 AWS 平臺的過程簡單,API 兼容性保證現(xiàn)有應(yīng)用無縫過渡。