嵌入式人工智能/機器學習（AI/ML）以“生態+集成+定制”差異化發展

　　作者：陳嬌劉朝暉

　　隨著嵌入式處理器的能力不斷提升，超小型化的硬件加速器不斷被引入，以及原廠及商業的開發環境和工具不斷出現，嵌入式人工智能/機器學習（AI/ML）技術在近幾年得到了快速的發展。同時因為這些技術與千姿百態的各種應用需求十分貼近，因此正在進入差異化發展的新空間，未來其增長速度將可以比肩甚至超過需要強大資源體系的、立足良好通信條件的和基于云的人工智能應用。

　　人工智能并不是一個近幾年才提出的名詞，但是在近幾年隨著谷歌AlphaGo戰勝人類圍棋世界冠軍等事件的推動，才使諸如卷積神經網絡、深度學習和機器學習等技術走進了大眾的視野，同時也使“人工智能=數據+算法+算力”的模型得到廣泛的認同。

　　

　　其結果是，在很多人的印象中，人工智能和機器學習就是在英特爾最新服務器處理器或者英偉達的GPU加速模組的基礎上的全新的、巨大的算法應用，特別是人工智能的訓練更是一場資源消耗戰，成為了進入門檻很高的新興領域，傳統上設計MCU或者SoC的芯片企業基本上與高貴的AI/ML無緣。

　　但是人們很快發現在非常領先的人工智能企業所提供的解決方案中，不僅包括諸如自動駕駛路況分析、自然語言處理、快速醫學影像識別和高頻金融交易等復雜功能，也包括更大量車牌識別、智能音箱喚醒詞識別、便攜智能健康監測設備、人臉識別開機和智能家居安防等Lite級別的應用。

　　在市場強烈需求的拉動下，隨著谷歌的開源TensorFlow Lite嵌入式機器學習架構和類似產品的推出，以及諸如Imagination公司的PowerVR神經網絡加速器（NNA）等硬件加速器在移動設備或嵌入式設備上商用，各種功耗和成本更低的，以及更加小巧的嵌入式AI/ML功能解決方案不斷涌現。

　　通過分析，北京華興萬邦管理咨詢有限公司認為：嵌入式AI/ML的廣泛興起，帶來了與傳統AI技術以“人工智能=數據+算法+算力”為中心的發展范式不同的新模式，針對特定或者一些應用和功能的嵌入式AI/ML的重點已轉向“生態+集成+定制”。下面我們從融入物聯網生態、硬件和商用開發工具集成、以及基于RISC-V開發定制處理器這三個方面來進行分析：

　　為嵌入式AI/ML帶來最新Matter協議和物聯網大生態

　　Silicon Labs（亦稱“芯科科技”）是一家全球領先的物聯網芯片、軟件和解決方案供應商，該公司在業界以支持最全面的物聯網通信協議和提供優異的產品性能而著名，其客戶包括智能家居、智慧城市、工業與商業、智慧醫療和能源等領域內的領導廠商。

　　

　　今年初，該公司宣布推出其BG24和MG24系列2.4 GHz無線SoC，它們不僅都支持最新的Matter物聯網通信協議，還分別支持藍牙和多協議操作，同時還為電池供電的邊緣設備和應用提供了人工智能/機器學習功能，并帶來了高性能無線功能和物聯網大生態。

　　BG24和MG24無線SoC代表業界前沿的生態、功能和技術組合，其中包括支持無線多協議、長電池壽命（低功耗）、機器學習、以及面向物聯網邊緣應用的安全性。Silicon Labs為它們提供的全新軟件工具包支持開發人員通過一些常用的工具套件（如TensorFlow），來快速構建及部署AI/ML算法。

　　為了實現AI/ML算力，BG24和MG24系列率先集成了專用的AI/ML加速器，幫助開發人員部署人工智能或機器學習功能并解決功耗難題。這種專用硬件旨在快速高效地處理復雜計算，內部測試顯示其性能提升最高達4倍，能效提升最多達6倍。由于機器學習計算是在本地設備上而不是在云端進行，因此消除了網絡延遲，加快了決策和行動。

　　此外，BG24和MG24系列還具有Silicon Labs產品組合中最大的閃存和隨機存取存儲器（RAM）容量，使其可支持多協議、Matter以及用大型數據集訓練ML算法。這些芯片載有獲得了PSA 3級認證的Secure VaultTM物聯網安全技術，可為門鎖、醫療設備和其他需小心部署的產品提供所需的高安全性。

　　高集成度嵌入式AI/ML配合領先商用開發工具

　　IAR Systems是嵌入式開發軟件和服務的全球領導者，其領先的IAR Embedded Workbench®工具鏈已在全球獲得廣泛采用。IAR Systems的開發工具為Alif Semiconductor™高集成度的Ensemble™和Crescendo™系列芯片提供支持，打造了基于人工智能的、高效的微控制器（MCU）和融合處理器，賦能下一代嵌入式互聯應用。

　　

　　對更多功能的集成代表了嵌入式AI/ML的一個發展方向，Alif Semiconductor的這些高能效產品系列提供多達4個處理內核，以及人工智能/機器學習（AI/ML）加速、多層安全、集成的LTE Cat-M1和NB-IoT連接、全球導航衛星系統（GNSS）定位等功能，從而使其應用范圍得到了大幅擴展。

　　為了讓這些功能得到更好的發揮，就需要利用諸如IAR Systems的Arm開發工具這些在行業中已被驗證過的、領先的編譯器技術，對代碼大小和速度都進行優化，另外還提供高性能的調試功能，從而為企業提供了一個很好的平臺。

　　2021年11月，IAR Systems宣布其最新版本的IAR Embedded Workbench for Arm®增加了對Arm Cortex®-M55處理器的支持。該處理器是一款支持AI技術的Cortex-M系列處理器，帶來了節能的數字信號處理（DSP）和機器學習功能。

　　雙方此次合作可以支持Ensemble或Crescendo器件的應用開發商利用IAR Embedded Workbench®for Arm開發工具鏈，以實現高性能的且強大的代碼優化功能，充分發揮器件的AI/ML潛能，同時又盡可能地保持能源效率。

　　RISC-V使嵌入式AI/ML可針對邊緣應用實現定制

　　多樣化的需求是嵌入式應用的特征之一，MCU供應商長期以來是通過不同的處理器內核與外設搭配來滿足用戶的個性化需求。而RISC-V的興起，帶來了定制處理器這一新的潮流，這一潮流將繼續延伸到嵌入式AI/ML領域，并得到業內領先廠商的支持。

　　

　　Codasip就是一家提供領先的RISC-V處理器IP和高級處理器設計工具的供應商，為IC設計者提供RISC-V開放ISA的所有優勢，以及定制處理器IP的獨特能力。Codasip在今年2月推出了兩款專為定制處理器而優化的最新低功耗嵌入式RISC-V處理器內核L31和L11。

　　基于這些新內核，客戶可以很方便地使用Codasip Studio工具去定制處理器設計，以支持諸如神經網絡、AI/ML等具有挑戰性的應用，包括例如物聯網邊緣計算等極小型化的、功率受限的應用。Codasip的內核可定制功能是其成功的基石，目前全球已有超過20億顆處理器使用了Codasip的IP。

　　Codasip L31/L11嵌入式內核運行在谷歌的TensorFlow Lite for Microcontrollers（TFLite Micro）上，并利用Codasip Studio工具定制一類全新的嵌入式AI內核，可為AI/ML計算密集型和內部資源有限的嵌入式系統等應用提供足夠的性能。不同應用對器件的需求也有巨大的差異，而且現有的處理器并不能很好地加載AI/ML應用。

　　Codasip可提供“創造差異化設計”模式，意味著使用其Studio工具的客戶，可以根據其特定系統、軟件及應用程序的要求來定制處理器。通過將TFLite Micro）、RISC-V定制指令以及Codasip處理器設計工具三者相結合，就可以為嵌入式的、高效率的邊緣神經網絡處理功能帶來低延遲、高安全性、快速通信和低功耗等優勢。

　　展望未來：新的應用與新的技術都將不斷涌現

　　隨著產業的發展，嵌入式AI/ML技術和應用都將得到進一步的發展，基于華興萬邦提出的“生態+集成+定制”新范式，以及不斷推陳出新的邊緣應用，我們可以看到在未來一些新的技術值得高度關注，比如新的、適合邊緣應用的硬件加速器和安全技術。

　　以硬件加速器為例，近年來廣泛興起并得到高度關注的xPU將會從云端走向嵌入式應用；在一些應用場景中，還需要針對算法和標準的演進和升級對硬件進行再編程，那么諸如Achronix公司的Speedcore嵌入式FPGA（eFPGA）這樣的IP產品也會從服務器和數據中心市場走入嵌入式AI/ML應用，推動采用不同硬件加速器的異構計算模式向前發展。