邊緣AI正逐步從雲端走向物聯網終端，透過輕量化模型與專用NPU，在有限的功耗、記憶體與運算資源下執行即時推論。本文從智慧溫控、穿戴式裝置與設備異常檢測等應用出發，探討超低功耗邊緣AI的技術架構，以及模型與硬體加速器如何依應用需求分工。
邊緣AI讓數十億台物聯網設備能夠在本地執行即時、低功耗的AI運算，也為物聯網應用帶來更多發展可能。
如今，人們一聽到人工智慧或AI，往往會聯想到像ChatGPT、DeepSeek和Google Gemini這些熱門的大型語言模型與文字轉圖像生成系統。但現實中還存在著另一種舉足輕重的AI，存在於構成物聯網的數十億台聯網設備中。
應用端持續產生的大量資料，以及對即時決策的需求，正推動AI逐漸導入物聯網設備。高效、特定任務的模型不再必須依賴雲端，而是可以在本地執行，僅佔用極少資源和能耗，從而使智慧可以擴展到數百億台超低功耗設備。
邊緣AI落地應用
為了解這個豐富商機的規模，不妨想想實際應用的情況。例如，建築能耗約佔全球能源消耗的30%，其中冷凍設備與暖通空調(HVAC)系統消耗的能源相當可觀。傳統的智慧溫控器可能僅根據簡單的排程或手動輸入來調節溫度，而真正的智慧溫控器則會考慮人體感應器、外部氣象資料以及電力公司的即時電價資訊，並且能夠學習建築物的熱特性與使用者的活動模式，在用電低峰時段(此時能源成本與碳排放通常較低)進行預熱或預冷，並在空間無人時降低能耗。當這些優勢在全球數十億個系統中得到落實時，在許多應用中的潛在節能效果可達20%至40%，並有助於降低營運成本與碳排放。
另一方面，目前全球醫療體系已不堪重負，而AI穿戴式設備不僅能產生大量患者健康指標資料，還能判斷與分析這些資料，判斷其中哪些資訊可能具有醫療相關性，只將重要資訊傳遞給患者的醫療服務提供者，從而減輕醫護人員的資料處理負擔。這不僅節省了資源，還能協助醫師提供更個人化的醫療決策、及早診斷、遠端監測患者並協助患者依照處方用藥。
據德勤估計，工業製造商每年因為非預期停機而損失約500億美元。僅僅是一台泵發生故障就可能導致生產線停工，每小時損失數萬美元。企業在電機和泵上安裝振動和溫度感測器，並執行異常檢測模型(有些模型小至5KB)，可以提前數天甚至數週識別潛在故障。該設備執行持續執行推論(即時執行機器學習模型並做出決策)，僅在檢測到偏離正常模式時才發出警報。這樣，維護工作就可以安排在計畫停機期間進行，從而避免發生重大故障。
這些場景代表我們對AI的看法出現了重大轉變，從依賴龐大的雲端模型，變為更分散式、更貼近終端應用、影響力更深遠的模型。
AI運算走向設備端
在物聯網發展歷程中的大部分時間之中，各行各業的聯網設備都是先收集原始資料，然後將其發送到雲端，等待處理，最後根據處理結果採取行動。這種方法雖然總體上有效，但卻消耗大量頻寬，並引入了從數百毫秒到數秒不等的延遲，對於需要近乎即時回應的應用來說，這實在是太漫長了。
解決方案是將智慧處理能力從雲端轉移到資料產生的地方，即是設備本身。這種邊緣AI是AI領域增長最快的細分市場，這讓物聯網設備能在本地執行AI推論，進一步提升自主處理能力並降低能耗。
超低功耗邊緣AI可以借助同一生態系統內提供的互補技術來實現，例如Nordic的客製化Neuton模型和Axon神經處理單元(NPU)。Neuton模型可靈活應用於Nordic的產品系列，它採用自動化的逐神經元建構流程，可產生規模小、運算效率高的神經網路，避免傳統模型架構所需的額外運算負擔，提升運算速度與能源效率。Axon NPU是Nordic的AI加速核心，直接整合到nRF54LM20B SoC等特定設備中，能夠以更高速度和更佳能效來加快繁重的工作負載。
要在物聯網設備中實現上述功能，處理器必須具備低功耗運算能力。以nRF54L系列為例，SoC可有99%的時間處於深度睡眠狀態，並在微秒級時間內喚醒，以讀取感測器資料、進行推論，並在必要時發送少量資料封包。
Nordic Semiconductor AI主管Arjun Chandra解釋道，隨著AI運算逐漸移往資料來源端，邊緣AI的需求也持續增加，相關運算能力正進一步深入感測器與終端設備。
多個因素推動這一轉變：首先，互聯產品需要即時感知周圍環境，例如運動、聲音、使用者存在、健康訊號還是異常情況。在設備本地處理這些資訊可以實現即時回應，不必受雲端延遲或網路連線狀態影響。其次，持續向雲端傳輸資料會增加能源與傳輸成本，在設備端執行AI可以大幅減少資料傳輸，藉此延長電池續航時間。第三，隱私和安全正成為重要的設計標準。將資料保留在設備端，而不必將原始感測器資料發送到雲端，可以提高使用者信任度，並降低法規遵循的複雜度。
依應用需求選擇AI架構
要充分駕馭AI這種演進趨勢，需要能夠簡化整個開發流程的解決方案，涵蓋資料收集、模型訓練、部署和無線更新等各個環節；問題不再是邊緣AI可以做什麼，而是工程師該如何實際建構它。
相較於將AI視為依賴雲端的功能，Nordic則將AI導入嵌入式系統，使其能在嚴格的功耗、記憶體與延遲限制下運作。Chandra說道，Nordic專注於實現這一物理AI層，即是感知、計算和現實世界互動的融合點。
Nordic Semiconductor執行長Vegard Wollan補充道，AI模型可在雲端或資料中心完成訓練，再部署至設備端執行。對超低功耗物聯網設備而言，若能在本地完成AI推論，便可降低資料往返雲端所造成的延遲，並減少資料傳輸，有助於延長電池續航時間。
Nordic致力消除開發生命週期各個階段的障礙，並憑藉Neuton模型和Axon NPU產品進一步踐行這一理念。Neuton模型讓嵌入式開發人員無需具備機器學習專業知識，即可利用自身資料集產生佔用記憶體極小的最佳化模型。而Axon NPU則為他們提供針對常見AI工作負載最佳化的硬體。
搭配上述硬體，Nordic亦提供相應的軟體開發環境，以簡化模型建構、最佳化、測試與部署流程，降低開發人員導入AI的門檻。
憑藉對TensorFlow Lite/LiteRT模型的支援以及與Nordic Edge AI Lab的緊密整合，嵌入式工程師可用於模型建構、最佳化、測試與部署。
Neuton模型的尺寸小巧而且效率出色，可在Nordic SoC或蜂巢式模組的CPU上執行邊緣AI應用，應對基於時間序列感測器資料(例如加速度計、慣性測量單元(IMU)、光體積變化描記(Photoplethysmography, PPG)或溫度與電量測量感測器輸出的AI挑戰。異常檢測、手勢識別、活動分類和生物特徵監測可以持續即時地執行，而不會耗盡電池電量或雲端連接資源。
儘管Neuton模型能夠在CPU上實現高效的AI運算，但某些應用需要更強大的運算能力，例如高頻感測器資料、音訊處理和影像分類等應用對處理速度、記憶體和能效的要求更高。在這種情況下，Axon NPU則可讓資源受限設備也能執行較高效能的AI工作負載。Axon NPU專為超低功耗環境而設計，可為支援TensorFlow Lite等級模型提供專用的硬體加速，與CPU執行相比，推論速度最高可提升15倍，且較CPU執行耗用更低的能源。
這種加速不僅僅是速度加快，並且從根本上為邊緣計算帶來了新的可能性。因此，部分過去受限於功耗與運算能力的應用，例如關鍵詞辨識、聲音分類及影像辨識，也能在設備端執行。
Neuton模型計算量本身已相當低，並不需要透過Axon NPU加速，這是架構設計上的考量。
這為各種實際應用打開了大門，包括基於Neuton的客制化模型，例如手勢遙控、活動識別、異常檢測、預測性感測等應用能夠在資源有限的設備上執行。
邊緣AI邁向大規模應用
Nordic靈活且可擴展的邊緣AI架構使開發人員能夠根據硬體、應用和能耗預算來匹配合適的智慧級別，開發人員可依硬體能力、應用需求與功耗限制，選擇適合的AI架構。Nordic的邊緣AI解決方案將超高效模型與專用加速器相結合，可應用於部署物聯網設備的各種場景，並且在所有應用場景中實現降低延遲與能耗，並提升隱私保護與系統韌性。
重要的是，開發者並非受困於單一方法。相反，他們可以根據每個應用場景選擇最合適的技術，甚至可以在單個系統中組合使用多種技術。例如，一個設備可以使用Neuton模型進行持續異常檢測，然後在檢測到事件後利用Axon NPU進行更詳細的分析。這種分層方法可讓AI運算資源集中於最需要的工作負載。
多年來，為無線物聯網設備添加AI功能，意味著要在電池續航時間和效能之間作出取捨。如今，低功耗與AI運算效能之間的取捨正逐漸降低。
物聯網感測器正從單純資料擷取走向本地智慧化，設備不再只是收集資料，也能在本地分析資料、做出決策，並僅將必要資訊傳送出去。建構這些設備的技術如今已經存在，相關開發工具也逐漸普及，嵌入式工程師更容易導入這類AI功能。
(本文由Nordic提供)