全球已從PC和手機邁向物聯網(IoT)與人工智慧(AI)科技時代，AI+IoT(AIoT)應用興起，掀起新一波典範轉移。智慧機器時代已然來臨，人工智慧普及化，其中包括自駕車、無人機、機器人等具備自主判斷、學習能力等機器。半導體應用仍扮演核心角色，是電子系統邁向AIoT裝置的關鍵技術。

工研院產業科技國際策略發展所產業分析師范哲豪表示，目前AI晶片的發展呈現少量多樣的發展模式，各式各樣的創新應用日新月異，但是殺手級應用尚未登場。根據IC Insights的統計數據可以看出，在全球半導體設計業產值及排名統計中，營收前10名的廠商裡，高成長率的NVIDIA、AMD和賽靈思(Xilinx)產品皆與AI正相關。另外，2019年全球半導體設計產業產值雖受中美貿易戰影響，但據IC Insights預估，2019年產值將達125,750百萬美元，年成長率6.0%，AI仍是產業發展的重要驅力。

現在各國政府皆已高度投入AI技術發展，根據工研院產業科技國際策略發展所統計，日本現已投入了560億台幣的資金在AI相關計劃中，另外美國投入了463億台幣，中國則是4.5億台幣，韓國也有1.5億台幣的投入。由此可以看出AI技術發展勢在必行。

范哲豪指出，由於AI需要進行邏輯思考，並做出判斷決策，故運算量相當大，但也因此導致功率與成本高居不下，目前廠商都先從高價產品開始導入，但是要全面普及仍需找出新興架構降低功耗與成本才行。從功率方面來說，雲端AI晶片的功率大約是100W以上，邊緣端則是20~100W，終端裝置AI晶片的功率則約是10~20W。因為雲端運算有安全性的疑慮，同時功率又高，而終端裝置的功率相對較小也較為安全，產品種類分散，市場機會更多，因此有愈來愈多的廠商投入終端裝置的新興AI晶片設計。

從現在趨勢也可以發現，在裝置端導入AI功能是大勢所趨。其中AI終端運算可以分為三大應用場景，分別是建築(Building-scale)，如工廠內部影像辨識、機器人控制、機台數據分析、預測維護等；還有家庭/個人方面的應用，如智慧音箱、智慧家電、AR/VR頭盔等；以及城市(City-scale)，如自駕車、無人機、自走載具、街頭監控系統等。而影像、語音語機器數據為主要的運算型態。

范哲豪進一步說明，現階段裝置端AI運算晶片產業仍存有一些挑戰，產品少量多樣，在矽智財(CPU+AI Engine)、人事成本、EDA工具和光罩方面的進入門檻高。同時廠商缺乏關鍵AI技術，又無力投入新興架構的研發設計。另外，部分廠商缺乏軟硬系統整合能力，導致產品競爭力不足。在設計方面，除了省電之外，還有小尺寸、價格考量、高效能運算等需求。

為解決此問題，范哲豪列出裝置端AI晶片所須要導入的新技術，須有可重組之半通用AI晶片架構，根據特定應用所需的類神經網路架構找出通用處並將其硬體化；還有以封裝形式將各類AI晶片異質整合，藉此在價格與晶片效能上取得平衡；以及在記憶體內的AI運算方式，進而克服處理器需要花費大量時間和能耗才能從記憶體中獲取資料的瓶頸，透過直接在記憶體中運算提高速度與效率。