在生成式人工智能領(lǐng)域，蘋果的努力似乎主要集中在移動設(shè)備上，尤其是最新的 iOS18系統(tǒng)。然而，新的 Apple M4芯片在最新發(fā)布的 Mac Mini 和 Macbook Pro 中展現(xiàn)出強大的性能，使其能夠有效運行目前最強大的開源基礎(chǔ)大語言模型（LLMs），如 Meta 的 Llama-3.1405B、Nvidia 的 Nemotron70B 和 Qwen2.5Coder-32B。

Exo Labs 是一家成立于2024年3月的初創(chuàng)公司，致力于 “民主化人工智能的訪問”，其聯(lián)合創(chuàng)始人亞歷克斯?奇馬（Alex Cheema）已經(jīng)成功地利用多臺 M4設(shè)備搭建了一個本地計算集群。

他將四臺 Mac Mini M4（每臺售價599美元）與一臺 Macbook Pro M4Max(售價1599美元)相連，通過 Exo 的開源軟件運行了阿里巴巴的 Qwen2.5Coder-32B。整個集群的成本大約為5000美元，相較于一臺價值25000到30000美元的 Nvidia H100GPU 來說，性價比極高。

使用本地計算集群而非網(wǎng)絡(luò)服務(wù)的好處顯而易見。通過在用戶或企業(yè)控制的設(shè)備上運行 AI 模型，可以有效降低成本，同時提升隱私和安全性。奇馬表示，Exo Labs 正在不斷完善其企業(yè)級軟件，目前已有幾家公司在使用 Exo 軟件進(jìn)行本地 AI 推理，未來這一趨勢將逐步向個人和企業(yè)擴展。

Exo Labs 近期的成功得益于 M4芯片的強大性能，該芯片被稱為 “全球最快的 GPU 核心”。

奇馬透露，Exo Labs 的 Mac Mini M4集群能夠以每秒18個標(biāo)記的速度運行 Qwen2.5Coder32B，并以每秒8個標(biāo)記的速度運行 Nemotron-70B。這表明，用戶無需依賴云基礎(chǔ)設(shè)施就能高效處理 AI 訓(xùn)練和推理任務(wù)，使 AI 對隱私和成本敏感的消費者和企業(yè)變得更加可及。

為了進(jìn)一步支持這一本地 AI 創(chuàng)新的浪潮，Exo Labs 計劃推出一個免費的基準(zhǔn)測試網(wǎng)站，以提供詳細(xì)的硬件配置比較，幫助用戶根據(jù)需求和預(yù)算選擇最佳的 LLM 運行解決方案。

項目入口:https://github.com/exo-explore/exo

劃重點:

?? Exo Labs 利用 Apple M4芯片，成功在本地計算集群上運行強大的開源 AI 模型。

?? 本地運行 AI 模型可降低成本，提高隱私安全，避免對云服務(wù)的依賴。

?? Exo Labs 將推出基準(zhǔn)測試網(wǎng)站，幫助用戶選擇適合的硬件配置進(jìn)行 AI 任務(wù)。