根據研究機構Epoch AI所彙整的資料，過去十年來，用於訓練最先進AI模型的計算資源大幅增加，並促使模型的通用性和性能得到巨大提升。在過去十年中，根據Epoch AI的估計，語言模型性能提升中約有三分之二是由於模型規模的增加所致。

鑑於規模擴展的重要性，追蹤訓練模型所使用的計算資源的增長，變得至關重要。Epoch AI初步得出的結論是，近年來算力的增長趨勢為每年增長4~5倍。Epoch AI在一些著名的模型中發現了這一持續增長，包括算力前十名的模型、最近的大型語言模型，以及由OpenAI、Google DeepMind和Meta AI發布的頂尖模型。

然而，也存在一些尚未解決的不確定性。我們無法排除算力整體增長趨勢可能加速的可能性。我們也發現自2018年以來前沿模型的增長放緩，這使解釋變得複雜。自2018年以來，前沿增長的趨勢更適合描述為每年4倍的增長。此外，著名語言模型的整體增長速度顯著更快，在2017年6月至2024年5月期間增長了多達9倍。

然而，當我們專注於語言模型的前沿時，我們發現隨著最大語言模型在2020年中期追趕上AI的整體前沿後，增長趨勢放緩至每年約5倍的速度。總的來說，我們建議用每年4~5倍的數字來總結近期著名和前沿模型的算力增長趨勢。這也應用作未來增長預期的基礎，當然還需考慮可能出現的瓶頸或加速等其他因素。