雲端和邊緣智慧應用的大量爆發，讓如今的AI正日益深入人心，成為海量電子類設備的標配。但各類AI應用在高潮迭起的同時，也產生了龐大體量的資料，這也讓如今的處理器技術越來越不堪重負。以邊緣側智慧設備為例，地平線張永謙日前在接受記者採訪時曾表示，“截至目前，邊緣側的大量的資料中99%幾乎都是未曾經過智慧化處理或者結構化處理的垃圾資料，僅僅將其中部分資料送入雲端進行智慧處理，都會讓廠商付出很大的代價。”
更不必談，待5G應用全面落地之後，單位面積之內設備的接入數量以及整體的接入頻寬都將比當前的4G應用高出一個數量級，這也必將給雲端及邊緣側處理技術帶來更大的壓力，比如進一步加劇邊緣側資料和比較有限且難以實現的骨幹網處理能力之間的矛盾。因此，如今有越來越多晶片公司開始發力AI邊緣側晶片，即便只是在中國，截至目前對外宣稱正在從事AI晶片開發的企業都多達50-100家，這也為CEVA這樣的IP提供商創造了越來越多跟進中國市場的機會。
繼去年的NeuPro產品在AIoT市場大賣之後，為進一步加強自身在AIoT晶片IP授權領域的優勢，CEVA於不久前的比利時布魯塞爾AutoSens展會上正式發佈了用於邊緣深度神經網路推理的第二代AI處理器架構NeuPro-S。CEVA行銷副總裁Moshe Sheier也於近日來到深圳，為華強電子網等媒體分享了CEVA在AIoT晶片領域的思考與規劃。
資料頻寬瓶頸的破解之道
對於AI晶片來說，資料頻寬已經成為一個非常明顯的瓶頸。僅以視覺類前端設備的配置來看，業內預測2022年全球將有15億個具有電腦視覺/AI功能的前端設備配置，其中，智慧手機有8億台，安防監控類7000萬台，相機等消費類產品將有3.75億台，汽車圖像類感測器也將有3億台，工業類也會有1.5億台的規模，這無疑將對AI處理器構成莫大的壓力。
“與視頻編解碼不同，現在的神經網路雖然看起來處理的圖片很小，但是引入了卷積之後，整個通道數量就會很多，它的權重的資料量會非常的大，資料頻寬就成為瓶頸。所以，現在包括業內不光是CEVA一家，大家都是在專注於怎麼樣去壓縮資料上面。因此，我們增加了離線的權重壓縮和硬體上的權重解壓縮，來進一步優化資料頻寬的瓶頸問題，但在這一版上，我們先是做的是資料的稀疏的權重的處理，就是權重的解壓縮，那麼未來我們也會直接做資料的壓縮。”Moshe Sheier表示。
從架構層面上來看，Ner-Pro S究竟是如何去提升資料的使用效率的?Moshe Sheier告訴華強電子網記者：“目前為止，我們其實主要還是在頻寬上做了一些增減。因為我們本身在設計NN引擎的時候，資料效率就已經很高了，即我們的乘法的利用率，理論的利用率，基本上都是在80-90%的水準。只是實際利用率達不到那麼高，這也是因為瓶頸在頻寬上，需要等待資料導致的問題。所以，這也是為什麼我們NeoPro-S在NeoPro的基礎上，將頻寬做了更多的優化，這樣才有可能去達到理論設計上的乘法優化。”
自訂硬體加速為什麼要結合CV?
縱觀如今市面上大多數AI晶片，配置專用的硬體加速器似乎已頗為流行，尤以AI影像處理及視覺識別這類最甚。從早期華為用於智慧手機端的麒麟系列晶片、蘋果的A11、A12到Nvidia用於汽車領域的Xavier，再到如今市場上不斷湧現的眾多類型的ASIC，專用的AI加速器似乎已成為一種標準配置，以針對特定應用的圖像及視覺資料處理做專業支援。
雖說如今的自訂加速器已經成為各大AI晶片公司爭相佈局的領域，但在現今大多數AI加速的過程中，仍然需要傳統CV技術的輔助。這是因為，有些神經網路現在還是在持續演進的過程當中，而CPU不僅需要做資料處理，還需要做一些其他的控制工作。因此，真正能夠拿來來運行這些不支援的網路，或者是加一些新的Feature運算單元是遠遠不夠的。因此，CEVA認為，CV和AI加速器結合的方案，將會是未來一大的趨勢。
為了輔助客戶的自訂硬體加速器，CEVA則採用的Vision DSP來做相應的CV輔助。這樣的話有兩大好處，Moshe Sheier認為：“第一，如今的AI應用當中，我們有Pre AI和Boost AI，無論是要提前對圖像做處理，做圖像品質增強，還是做Resize，都是需要先做影像處理，這部就是我們的CV演算法或者Resize，其實與AI的卷積並沒有什麼關係。還有就是Boost AI，當處理的圖像資料出來之後，可能需要找一些框架，或者是按照概率排序，這其實也都是傳統的CV的演算法。”
況且，現在的很多神經網路都是級連的網路，先運行第一個，然後根據第一個的結果做CV的處理，再運行第二個。“所以，Vision DSP在這中間是非常關鍵的，我們之所以要更進一步，是因為我們本身有CDNN軟體框架的積累。做硬體簡單，但是做上層軟體其實是很複雜的，所以我們是搭配我們的Vision DSP，同時我們也給客戶提供了更加開放的CDNN的軟體框架，這個軟體框架我們會提供API的介面，可以把客戶自己的硬體加速器的驅動集成到我們的介面裡面來。然後以Vision DSP作為主控，去處理AI的一些應用。這是一個前後處理的概念，然後針對新的網路，如果硬體要求不支援，那麼一定會是在Vision DSP上的效率會比在ARM上的效率要更高一些。”
專用加速器盛行是否代表AI演算法已成熟?
過去的智慧晶片端，主要是以DSP來實現所謂的“AI加速”。但如今，隨著各類專用場景對智慧化要求的提升，傳統的DSP已經難以適應錯綜複雜的應用需求，因此專用的AI加速器成為了當下AI晶片領域的“新星”。當然，AI加速器的配置對提升固定應用場景下晶片的整體性能有很大助力，但性能提升的同時，靈活性也會進一步降低。那麼，這是否意味著AI演算法已經進入了相對成熟的階段?
“我個人認為還沒有到時候，跟視頻編解碼不一樣，視頻編解碼行業我們可以包括ISP，可以明確說它一定是硬體的。因為它的演算法演進過程中，也沒有什麼新的技術，所以其實提前佈局是沒有任何問題的。”Moshe Sheier解釋。
但是現在，AI有一個很大的問題，就是演算法公司內部其實走的是兩條線路，一條是衝刺學術論文，整個演算法非常的複雜;另外一條是本身演算法公司做落地化的項目時，因為受困於硬體的計算算力不夠，其實還是需要犧牲很多特徵的。因此，CEVA非常希望演算法公司能夠跟晶片公司提更多的一樣需求，讓晶片公司設計的產品更適合自身的演算法。
只有演算法跑的效率高了，才能做更多的一些應用在裡面。所以，Moshe Sheier認為AI加速器是一定是是一個趨勢，當然這跟本身中國晶片公司都是硬體起家的背景是有關係的。另一方面，現在的視頻DSP為什麼還是很重要?這也是CEVA反復強調的，因為演算法的不確定性實在太多了。而且，如今越來越多的演算法公司，會更傾向於多個網路的組合演演算法，這樣他們在AI上也會有越來越多的積累。 所以，一旦要運行多個網路，CV和AI的結合處理是非常必要的。
小結：
總之，在CEVA看來，AI自訂加速器以及AI與傳統CV技術之間的結合將會是接下來AI處理器領域的兩大趨勢。站在一家全球領先的晶片IP提供商的角度，CEVA表示樂見更多的AI晶片廠商和演算法公司與CEVA在AI處理器技術層面上展開合作，以共同推進AI晶片技術的發展。
CEVA的CDNN架構示例
本次，CEVA推出的NeuPro-S，以及業界首創的深度神經網路編譯器技術CDNN-Invite API，算是又一次提升了CEVA在AIoT晶片IP領域的地位，在處理、加速、軟體和工具方面的整體能力又更進一步。不過，未來的AIoT市場，CEVA仍需提防ARM等一眾競爭對手的狙擊，只有在AIoT技術和生態上先發制人，並及時保證自身技術的快速反覆運算，方能在變幻莫測的AIoT時代立於不敗之地。