訂閱電子報∣ 友善列印字體大小 文章分享-Facebook 文章分享-Plurk 文章分享-Twitter
從GTC Taipei看AI下一步 黃仁勳談AI代理程式、推論轉折與AI工廠
獲取專題報導零時差!立即訂閱電電公會電子報。

文/張煥鵬 本刊特約記者 圖/Shutterstock

回顧CUDA二十年來的發展, 黃仁勳表示,CUDA(Compute Unified Devices Architecture,統一計算架構)的價值不只在於技術本身,更在於背後龐大的用戶基礎與開發者生態系。從開發工具、編譯器、框架到各式程式庫,CUDA建立起完整的運算平台,成為許多開源專案與應用開發的重要基礎。當使用者愈來愈多,也吸引更多開發者投入新的應用與演算法開發,進一步擴大CUDA的生態系。對輝達而言,這不只意味著硬體優勢,也代表它能透過軟體與平台架構的優化降低運算成本,提高整體運算基礎設施的使用效率。

從生成內容到參與工作流程
AI角色正在改變

過去兩年,AI產業進入快速轉折期。黃仁勳指出,這波變化背後不只是技術進步,還包括資本大量湧入與AI原生公司的快速崛起。整個產業已吸引高達1,500億美元資金,許多AI原生公司的募資規模也從早期的數百萬、數千萬美元,一路提高到數億甚至數十億美元。

推動這波變化的關鍵,在於AI能力在短時間內快速演進。ChatGPT開啟生成式AI時代,讓AI不只具備理解、翻譯與感知能力,還能生成文字、圖像等內容,改變過去以檢索為主的運算模式。接著,推理AI的出現進一步提高了AI的可信度與實用性。黃仁勳指出,這類模型將複雜問題拆解成多個步驟,透過反思、規劃與推演形成更有依據的答案,這也意味著模型需要處理更多輸入與輸出token,進一步推高運算需求。

從生成內容到開始參與工作流程,AI的角色正在改變。黃仁勳認為,AI發展正進一步走向代理程式階段。他以Claude Code為例,這類模型不只是回答問題,更能讀取檔案、撰寫程式、編譯、測試、評估,並反覆優化結果。目前,輝達內部也已廣泛使用Claude Code、Codex與Cursor等工具,幾乎所有軟體工程師都會藉助一種或多種AI代理程式協助開發。

AI開始執行任務
代理程式可應用多種場景

黃仁勳在演講中提到,未來的AI代理程式除了會使用結構化資料庫,也將大量運用非結構化資料、向量資料庫與生成式資料庫,包括PDF、影片、演講內容等各類資訊來源。他指出,全球每年產生的資訊中,約有九成屬於非結構化資料。過去這些資料雖然被閱讀、保存,也被放進檔案系統,卻始終難以有效查詢與搜尋,原因就在於非結構化資料無法像結構化資料那樣進行簡單索引,系統必須先理解內容的意義與用途,才能進一步處理。黃仁勳認為,AI如今已具備這樣的能力。

黃仁勳在演講中分享,AI代理程式未來可應用在多種場景,包括藥物研發、客戶服務、診斷支援,以及零售供應鏈、代理式購物與機器人系統等。黃仁勳談的AI代理程式,不只是用來對話的聊天機器人,而是能夠串接資料、調用工具、進入工作流程並執行任務的系統。
Claude Code帶來的轉變在於,使用者不再只是向AI提問,而是開始把任務直接交給它執行,包括讀取檔案、使用工具、拆解問題與完成工作。

黃仁勳描述AI能力的演進過程,從具備感知能力的AI,接著進化成為能夠生成內容的AI,再從生成式AI走向具備推理能力的AI,最後發展為能夠展開工作、完成高價值任務的AI代理程式。從這個脈絡來看,AI的角色已不再只是回答問題,而是開始進入工作流程,負責讀取資料、調用工具與執行任務。

AI推論需求大增
算力與基礎設施都得升級

黃仁勳接著指出,AI代理程式將使推論需求大幅增加。因為AI只要需要思考、閱讀或執行操作,都離不開推論;換句話說,AI每一次思考與行動,背後都伴隨推論運算。他表示,從預訓練、後訓練、推理到如今的代理式系統,算力需求正呈指數級成長。為了因應這樣的需求,輝達提出Vera Rubin系統,全面升級運算架構中的CPU、儲存、網路與安全等環節,其中Vera CPU Rack主要負責調度管理與代理式工作流程。

黃仁勳進一步說明,Vera Rubin不是單一元件,而是一套垂直整合、具備完整軟體配套、可端到端擴展的系統。由於代理程式的核心任務是思考,大型語言模型未來將變得更大、生成更多token、速度更快,也必須更頻繁地存取記憶體,對記憶體與儲存系統帶來更高負載。無論是KV Cache、結構化與非結構化資料,或各種工具調用,都會成為系統負載的一部分;未來這些工具甚至可能延伸到網頁瀏覽器與雲端虛擬電腦。

除了黃仁勳的主題演講,GTC Taipei於6月2日至4日舉行的技術論壇、實作工作坊與展示活動,也延伸了代理式AI、物理AI、機器人與AI工廠等主題,呼應這次GTC Taipei的重點技術方向。

獲取專題報導零時差!立即訂閱電電公會電子報。