知名研究機構國際戰略研究所(IISS)日前發佈報告,指出儘管美國限制高性能AI晶片對華出口,但這些控制措施可能會促使中國人工智慧研究人員朝著“計算要求較低的領域”,並引導他們發展“新的競爭優勢”。
報告稱,近年來,大型語言模型的能力有了顯著提升,OpenAI在2020年創建GPT-3是一個重要的里程碑。這些改進歸因於更大、更通用的模型架構的創建以及資料集大小的增加以及技術公司為增加訓練模型的計算能力所花費的金額。實證研究表明,給定模型的資料集大小、計算開銷和參數計數之間存在密切關係,並且在實踐中,計算開銷是模型改進的最強約束。
此外,越來越多的參與者正在開發大型語言模型,並在多個維度上出現擴散。如大型語言模型的研究主要發生在美國,但其他國家的研究人員——尤其是中國,以及其他地方的特定研究機構,如英國的 DeepMind——已經投入了大量資源建立自己的模型。此外,開發語言模型的機構類型已經擴展到既包括穀歌和微軟等大型科技公司,也包括分散的研究人員集體。
報告認為,大模型技術的擴散對安全有兩個近期影響:這些模型可能會為虛假資訊生產更高品質和更多的內容,而對大模型開發的競爭可能會加劇地緣z治緊張局勢。
報告還分析了去年10月,美國政府宣佈對流向中國的先進半導體晶片實行新的出口管制,部分原因是這些晶片對人工智慧發展至關重要。雖然出口管制的既定意圖是限制用於監視或軍事應用的人工智慧系統的發展,但語言模型也高度依賴于這些先進的半導體。實施出口管制的部分真實動機可能是為了保持美國在語言模型方面的優勢,無論是作為更廣泛的人工智慧技術競爭戰略的一部分,還是因為政府特別想抑制中國在語言模型方面的發展。
報告還懷疑這些措施是否有效。儘管由於計算能力的提高,大語言模型得到了改進,但它們不能以目前的速度繼續這樣做。研究人員正在積極尋求開發計算效率更高的方法來訓練類似模型。一個國家試圖限制另一個國家的計算能力作為競爭人工智慧發展的一種手段,可能會激勵目標國家在這些計算效率更高的人工智慧方法中發展競爭優勢。
此外,高品質文本如書籍和學術期刊文章可能很快成為語言模型發展的一個比計算能力可用性更緊迫的限制。
各國也可能越來越多地將大模型的開發視為一種民族自豪感,這種看法可能會加劇對其開發的競爭。報告擔心,隨著大模型越來越接近國家技術競爭的中心,政府可能會更積極地切斷本國居民對競爭國家開發的語言模型的訪問,從而進一步分裂互聯網。