最近，人工智能研究公司 Epoch AI 發(fā)布了一款互動(dòng)模擬器，專門用于模擬訓(xùn)練大型語言模型所需的計(jì)算能力。通過這款模擬器，研究人員發(fā)現(xiàn)，雖然可以使用2012年的老舊顯卡（如 GTX580）來訓(xùn)練 GPT-4，但成本將是如今現(xiàn)代硬件的十倍。

Epoch AI 的研究顯示，訓(xùn)練 GPT-4所需的浮點(diǎn)運(yùn)算次數(shù)（FLOP）在1e25到1e26之間。為了進(jìn)行這項(xiàng)研究，模擬器分析了不同顯卡的效率，特別是在模型規(guī)模擴(kuò)大時(shí)的表現(xiàn)。結(jié)果表明，隨著模型的增長，效率通常會(huì)降低。以近年來推出的 H100顯卡為例，它能在較長時(shí)間內(nèi)保持較高的效率，而 V100顯卡則在面對更大訓(xùn)練規(guī)模時(shí)效率下降得更加明顯。

在 Epoch AI 的實(shí)驗(yàn)中，GTX580顯卡的內(nèi)存僅為3GB。這款顯卡曾是2012年訓(xùn)練 AlexNet 模型時(shí)的主流選擇。盡管技術(shù)已經(jīng)進(jìn)步，但研究人員認(rèn)為，使用老舊硬件進(jìn)行如此大規(guī)模的訓(xùn)練是可能的，不過所需的資源和成本卻非常高。

此外，這款模擬器還支持在多個(gè)數(shù)據(jù)中心之間進(jìn)行復(fù)雜的訓(xùn)練模擬。用戶可以自定義數(shù)據(jù)中心的規(guī)模、延遲和連接帶寬等參數(shù)，從而模擬跨多個(gè)位置的訓(xùn)練運(yùn)行。這一工具還允許分析現(xiàn)代顯卡（如 H100和 A100）之間的性能差異，研究不同批量大小和多 GPU 訓(xùn)練的效果，并生成詳細(xì)的日志文件記錄模型的輸出。

Epoch AI 表示，開發(fā)這個(gè)模擬器的目的是為了加深對硬件效率提升的理解，并評估芯片出口管制的影響。隨著大型訓(xùn)練任務(wù)在本世紀(jì)的預(yù)期增加，了解未來所需的硬件要求變得尤為重要。

劃重點(diǎn):

??2021年推出的 GTX580顯卡能以十倍成本訓(xùn)練 GPT-4，但效率低下。

?? 模擬器可分析不同 GPU 的性能差異，并支持多數(shù)據(jù)中心訓(xùn)練模擬。

?? 該研究旨在提升對未來硬件需求的理解，助力大型 AI 模型的訓(xùn)練。