隨著生成式AI的迅猛發(fā)展，業(yè)界對"更大即更好"的傳統(tǒng)認(rèn)知正在發(fā)生轉(zhuǎn)變。多位頂尖AI科學(xué)家近期表示，單純通過增加數(shù)據(jù)量和算力來提升AI性能的方法已接近瓶頸，新的技術(shù)突破方向正在顯現(xiàn)。

Safe Superintelligence和OpenAI的聯(lián)合創(chuàng)始人Ilya Sutskever近日發(fā)表觀點，認(rèn)為傳統(tǒng)預(yù)訓(xùn)練方法已進(jìn)入性能平臺期。這一論斷格外引人注目，因為正是他早期倡導(dǎo)的大規(guī)模預(yù)訓(xùn)練方法催生了ChatGPT。如今，他表示AI領(lǐng)域已從"規(guī)模擴張時代"邁入"奇跡和發(fā)現(xiàn)時代"。

當(dāng)前大模型訓(xùn)練面臨多重挑戰(zhàn):動輒數(shù)千萬美元的訓(xùn)練成本、系統(tǒng)復(fù)雜度帶來的硬件故障風(fēng)險、漫長的測試周期，以及數(shù)據(jù)資源和能源供應(yīng)的限制。這些問題促使研究人員開始探索新的技術(shù)路徑。

其中，"測試時計算"（test-time compute）技術(shù)受到廣泛關(guān)注。這種方法允許AI模型在使用過程中實時生成和評估多個方案，而非直接給出單一答案。OpenAI研究員Noam Brown打了個形象的比方:讓AI在一盤撲克牌中思考20秒，效果堪比將模型規(guī)模和訓(xùn)練時間擴大10萬倍。

目前，包括OpenAI、Anthropic、xAI和DeepMind在內(nèi)的多家頂尖AI實驗室都在積極開發(fā)各自的技術(shù)版本。OpenAI已在其最新模型"o1"中應(yīng)用了這一技術(shù)，首席產(chǎn)品官Kevin Weil表示，通過這些創(chuàng)新方法，他們看到了大量提升模型性能的機會。

業(yè)內(nèi)專家認(rèn)為，這種技術(shù)路線的轉(zhuǎn)變可能重塑整個AI行業(yè)的競爭格局，并從根本上改變AI公司對各類資源的需求結(jié)構(gòu)。這標(biāo)志著AI發(fā)展正在進(jìn)入一個更注重質(zhì)量提升而非單純規(guī)模擴張的新階段。