文／林裕洋　本刊特約記者　圖／Shutterstock

當AI從雲端資料中心走向產業現場，從數位世界邁向實體世界，過去以集中算力為核心的運算邏輯，已難以滿足即時性、隱私、功耗與長時間穩定運作等需求。在此背景下，AI加速器正從GPU獨大的單一主流，逐步走向GPU與NPU（Neural Processing Unit，神經網路處理器）並存的雙主流架構，也牽動整條硬體與半導體供應鏈的重新洗牌。

從算力競賽到架構競賽，GPU不再是唯一解方
過去十多年來，GPU憑藉高度平行化的運算架構與成熟的軟體生態系，成功扛起深度學習訓練與推論的重任，也是生成式AI能夠快速普及的關鍵推手。然而，GPU設計初衷為「通用型運算」服務，需在資料中心環境中搭配充足電力、散熱等條件，才能穩定發揮最大效能。

但當AI應用開始深入製造現場、交通系統、零售場域與各類邊緣設備時，GPU原本的結構性限制也逐漸浮上檯面。由於GPU本身存在高功耗與高熱能等問題，難以部署在空間與電力受限的邊緣環境，加上昂貴硬體與長期推論成本，也讓企業對於大規模、長時間運作的AI專
案，難以評估合理投資報酬率。

尤其隨著AI應用型態正在改變，相較於過去以「一次性計算」為主的模型訓練，企業更需要「長時間運作」的AI推論系統，才能達成持續感知環境、即時做出反應，並在必要時與雲端協同運作。此種需求也促使產業重新思考，尋找專用、更節能、也更符合現場需求的算力選項。

NPU崛起，專為邊緣AI而生
對於多數邊緣AI應用而言，並不需要具備執行大語言模型的能力，而是在有限算力下穩定完成特定任務，例如影像辨識、物件追蹤、行為分析或設備狀態判斷。這些任務講求的是即時性與可靠性，而非極致效能，NPU正好切中此類需求，可在低功耗條件下，提供「足夠好、且可規模化」的AI推論能力。與GPU追求高度彈性與通用性不同，NPU是為神經網路推論任務量身打造的專用處理器，透過固定或半固定的運算路徑，換取更高的能效比與更低的延遲。

以智慧工廠為例，產線視覺檢測與設備預測維護等需要24小時不間斷運作，並在毫秒級內做出判斷；智慧交通系統則得發生事故或察覺異常狀況的第一時間介入。在前述場景中，NPU比起GPU更具成本效益與部署彈性，也能部署在高度重視資料安全的場域之中，讓企業保護商業機密的安全。

GPU、NPU雙架構，未來AI系統新常態
隨著NPU與邊緣AI架構逐漸成熟，企業導入AI決策邏輯也發生明顯轉變。過去AI專案多半以「一次性建置」為核心思維，重點放在模型效能是否足夠強大、算力是否充足，專案完成後即可交付使用。然AI走入產線、道路、設備與各類實體場域後，企業更在意AI是否能長時間、穩定的執行AI推論服務，且能受到現場人員的管理。

所以NPU並非要取代GPU，而是要讓AI架構
呈現更清楚的分工模式。雲端GPU負責大型模型訓練、複雜推理與跨場域協調，邊緣端部署NPU或其他ASIC加速器，負責即時感知、現場決策與推論服務。此種分層、分散、協同的架構，讓AI系統不再一味追求算力集中，反而可讓預算發揮最大效益。GPU、NPU雙主流架構不僅能降低總體擁有成本，也能提升系統穩定性與資料治理能力。

雖然GPU與NPU雙主流架構能讓預算發揮最
大效益，但是也會導致企業的決策複雜度大幅提升。由於不同場域、不同任務等需要搭配合適的加速器與AI模型，不可能仰賴單一套AI架構，而是需在雲端與邊緣之間，建立最適合自身營運模式的AI架構。換句話說，若企業本身沒有足夠AI團隊，就必須仰賴外部合作夥伴協助，才能順利完成AI架構的最佳化。

NPU改變產業結構，邊緣AI帶動供應鏈重組
由於邊緣AI裝置須在有限體積與功耗條件下，整合多項功能，其硬體設計不再只是單一晶片效能的競賽，而是一場系統層級的整合工程。這也使得記憶體配置、儲存介面、先進封裝與高速互連技術，成為能否落實邊緣AI應用的關鍵基礎。在此架構下，NPU普及不僅可讓AI算力下放，更成為帶動整體上下游供應鏈升級的重要引擎。

在邊緣AI場景中即時推論是基本要求，也代表資料必須以高頻、低延遲的方式，於運算單元與記憶體之間流動，即便模型規模相對雲端系統較小，仍對記憶體頻寬、穩定性與功耗控制提出嚴格要求。因此，在LPDDR等低功耗記憶體的重要性顯著提升之外，SRAM與快取架構
的最佳化配置，縮短資料存取路徑，也成為邊緣AI SoC設計的關鍵課題。

另一方面，當邊緣設備開始儲存更多原始資料與推論結果，以支援後續分析、模型回訓與遠端優化等程序，儲存系統角色重要性也急遽提升。過往僅安裝於AI伺服器的SSD與高速儲存介面，也逐步部署在邊緣裝置之中，成為支撐分散式AI架構不可或缺的一環。此外，原本主要部署於大型資料中心的光模組與高速互連技術，也開始因應「邊緣到邊緣」以及「邊緣到雲端」的資料交換需求而逐步下放，反映出AI架構由集中走向分散的長期趨勢。

單點優勢走向系統整合，台灣供應鏈新機會
在以NPU為核心的AI架構中，台灣IC設計、先進封裝、PCB、儲存模組或系統整合等業者，都已長期累積製造與工程經驗，能滿足邊緣AI設備所需的高度客製化、小量多樣與快速迭代特性等需求。

從生成式AI爆發到邊緣AI落地，再到實體AI的崛起，AI技術演進的方向已愈來愈清晰。未來勝負關鍵並非只是比較AI模型參數量、算力更強，而是誰能在真實世界中，能更深入理解企業需求，並能將硬體、軟體與應用場景緊密結合，讓AI架構發揮預期作用。若台灣產業能抓緊此機會，將可從「關鍵供應者」走向「系統價值創造者」，在全球AI產業中扮演重要關鍵角色。

隨著GPU與NPU雙主流架構逐步成形，NPU是讓AI從雲端走向現場、從數位走向物理世界的關鍵拼圖，預期AI產業競爭將從算力堆疊，轉向架構選擇與系統整合能力的全面較量。