許多企業正開發與擴大邊緣AI應用，其中，模型推論程序通常涉及高效能但高耗電量的GPU。然而，在實際的應用中，不是所有邊緣工作負載都需要使用GPU。近年來，晶片供應商的技術正快速進步，能提供更多元類型的處理器，以支援許多AI工作負載，而無需額外搭配高階GPU。
對IT管理與決策者而言，掌握CPU、NPU與GPU間的互補與搭配，是最佳化邊緣端運算效能與總體擁有成本(TCO)的關鍵要素。在零售、製造、運輸等產業，分散式AI應用通常涉及數百甚至數千台運算裝置，此時，運算元件的選擇與配置變得更加重要。
新世代CPU足以應對輕量模型與混合型工作負載
現代CPU已具有超越傳統序列處理的性能。透過如Intel AVX2(以及需搭配高階平台的AVX-512與AMX)的指令集擴充，CPU可支援向量化運算。而Intel Core Ultra與Intel Xeon 6等CPU可在單一指令周期內，並行處理多筆資料，可適用於輕量級AI模型，如異常偵測、簡易型物件分類，或基於規則的視覺系統等應用。
就技術層面而言，初階型AI框架可透過CPU向量化，更有效地進行張量處理，也能最小化資料移動程序，將工作負載保留在主要運算元件中，並可同時運行混合型工作負載，而無須額外的硬體支援。
目前的邊緣運算系統都有搭載CPU。透過CPU的內建AI加速性能，可減少硬體擴增、簡化系統設計、並降低前期成本。雖然CPU不適合大型或高度平行化的AI模型，但對於許多邊緣推論應用，仍是最有效率的處理元件。
NPU可帶來低功耗、長時間運行優勢
NPU是專為AI工作負載打造的運算模組。與需兼顧多種運算程序的CPU不同，NPU專門針對機器學習推論所需的矩陣乘法與張量運算進行了最佳化。此設計使NPU能以遠低於GPU的功耗，提供強大的AI效能，進而支援長期、持續性的運行。其適用的領域包含語音辨識、背景影像分析與感測器融合等應用。
相較於CPU與GPU，NPU為獨立運作的運算單元。其關鍵優勢包括：可持續、長時間地進行AI運算(而不影響系統處理速度)、高效率地處理高重複性的推論程序，並能降低緊湊型邊緣系統的散熱與功耗限制。
從商業角度來看，NPU推動了分散式AI的發展。企業可以將推論運算部署在更靠近資料來源的位置，而無需過高的電力消耗量或硬體成本。然而，NPU雖然效率高，但其性能局限於AI類型的應用。
高吞吐、多串流與複雜AI模型仍須仰賴GPU
GPU仍是最廣為人知的AI加速器。然而，不同GPU的性能差異相當大，且並非所有工作負載都需要相同的運算效能。這裡，我們將分別討論整合式GPU(Integrated GPU, iGPU)與獨立式GPU(Discrete GPU, dGPU)。
整合式GPU：
與CPU共用系統記憶體，並在CPU的功耗範圍內進行運算。與僅搭載CPU的系統相比，iGPU能使平行運算能力獲得顯著的提升，以適用於中階AI工作負載，例如即時影像分析或邊緣端的圖片處理。iGPU與CPU經過緊密的整合，能降低資料傳輸負荷，並使運算系統維持小型的體積設計。然而，共用記憶體架構會限制其峰值效能，對大型模型或高資料吞吐應用所造成的影響特別明顯。
獨立式GPU：
具有內建的記憶體，可提供更高的運算資源，以處理高階的推論工作負載。這類GPU包括多種尺寸、功耗範圍、效能，以及可支援的應用類型。在邊緣AI推論中，PCIe GPU為最常見的GPU類型，並能與多種規格的系統相容。常見的邊緣PCIe GPU包括NVIDIA RTX PRO 4500 Blackwell伺服器版本、NVIDIA RTX PRO 6000 Blackwell Max-Q工作站版本、及Intel Arc B系列GPU(B50、B60、B70)。
在實際的應用中，dGPU適用於大型影像分析、多串流處理，以及一些生成式AI與代理式AI等更複雜的AI模型。需要注意的是，雖然dGPU可大幅提升AI效能，但也伴隨更高的電力消耗量、硬體熱能與系統成本。因此，在部署運算硬體時，企業需熟知dGPU適用的領域。
理解應用需求方可創造最大效益
邊緣AI基礎設施應可依實際運算需求進行相應的硬體配置，而無需搭配超規格的元件。並非所有AI工作負載都需要高效能的dGPU。CPU可處理輕量型推論程序；NPU支援高效率、持續性、長時間的AI加速運行；而iGPU則適用於中等型工作負載(表1)。
表1 CPU、NPU、iGPU、dGPU在邊緣AI應用中的適用場景分析
在不必要的情況下配置GPU，可能會造成額外的成本與複雜度。透過理解CPU、NPU與GPU的優勢，企業可設計出兼具技術效率與經濟效益的邊緣AI解決方案。
異質運算技術的導入，不僅是運算效能方面的策略，同時也是商業性策略。針對邊緣AI基礎設施，企業應與供應商及AI生態系合作夥伴共同評估，為不同類型的工作負載提供合適的處理器，確保運算設施具備可擴充性、成本效益，並符合實際營運的需求。
(本文作者任職於Supermicro)