隨生成式AI由模型訓練轉向Agentic AI大規模推論，AI伺服器競爭指標正從GPU峰值算力，進一步轉向Token生成速度、功耗與單位推論成本。NVIDIA於Hot Chips 2026宣布Groq 3 LPX互動式AI推論加速器全面量產，並將其納入Vera Rubin平台，首波由AI雲端業者Nebius採用。

Groq 3 LPX主要鎖定低延遲Token生成，與Vera CPU及Rubin GPU形成異質運算架構。NVIDIA公布，在Gemma 4 31B模型、10萬Token上下文測試中，Groq 3 LPX輸出速度達每秒3,400 Token，凸顯AI Agent需要經歷數百甚至數千次推論步驟後，低延遲已成為新的基礎設施需求。

圖一 : AI伺服器進入Token成本戰，Groq 3 LPX、Vera Rubin帶動台灣ODM下一波換機潮。

另一項值得注意的訊號來自Vera Rubin NVL72。最新AgentX測試顯示，在特定Agentic AI工作負載下，其每兆瓦資料吞吐量最高可達GB300 NVL72的30倍，每Token成本亦大幅降低。Vera Rubin目前已獲微軟、Google、Oracle及CoreWeave等雲端業者採用。

對台灣供應鏈而言，新平台帶來的不只是GPU換代。鴻海、廣達、緯創已進入Vera Rubin量產準備，其中鴻海也是Groq 3 LPX相關機櫃主要組裝業者之一。市場預期相關訂單能見度可延伸至2028年。

更深層的產業變化，在於AI資料中心正由「算力工廠」轉向「Token Factory」。當CSP開始以每瓦吞吐量、Token成本及推論延遲衡量投資效益，伺服器ODM競爭也將從機櫃組裝，擴大至液冷、HVDC電力、高速網路與整體系統最佳化，台灣AI基礎設施供應鏈因此迎來下一波平台升級週期。