近日,清華大學的研究團隊在國際期刊《自然?機器智能》上發表了一項頗具啟發性的研究成果,提出了 “能力密度” 這一新概念。這項研究挑戰了傳統觀點,認為在評估 AI 大模型的實力時,不應僅僅關注模型的參數數量,也就是 “塊頭”,而更應關注每個參數所展現的智能水平,即 “密度”。

傳統上,AI 領域普遍認為模型越大,能力越強,這一 “規模法則” 在過去幾年中推動了眾多強大 AI 模型的涌現。然而,隨著參數量的增加,模型訓練和使用的成本也隨之飆升,這給 AI 技術的產業化應用帶來了限制。

清華新發現:AI大模型不止看“塊頭”,更要重視密度  第1張

清華大學的研究顯示,提升 AI 模型的 “能力密度” 并不能簡單依賴于模型的壓縮。研究人員指出,強行壓縮大模型就像把一本厚厚的字典塞進小本子,結果往往是 “智力” 的損失。因此,研究者們強調,需要一個更先進的 “數據 + 算力 + 算法” 體系來打造出 “高密度” 的小模型。

研究還發現,過去幾年發布的 51 個開源大模型中,“能力密度” 正以指數級的速度增長,大約每 3.5 個月翻一番。這意味著,如果現在需要一個體育館大小的 “大腦” 來完成某個復雜任務,不久的將來只需一個客廳大小的 “大腦”,再過 3 個半月,這個 “大腦” 的體積可能會縮小到僅僅背包大小。

在此基礎上,清華大學已經與 AI 企業面壁智能展開合作,推出了一系列 “高密度” 模型,這些模型已經成功應用于手機、汽車和智能家居等多個領域。研究團隊認為,未來的 AI 模型將不再追求龐大,而是更加注重 “精煉” 和 “高效”。當芯片的計算能力與 AI 的智能密度相結合時,個人設備將擁有前所未有的智能,能更快速反應并更好地保護用戶隱私。