近年來，AI在邊緣端的應用已成為不可阻擋的趨勢，嵌入式AI指的就是這種在邊緣端即可高效處理各種深度學習神經(jīng)網(wǎng)絡(luò)的應用加速模式。嵌入式AI能夠讓產(chǎn)品在設(shè)備層即可發(fā)揮智能化的檢測、識別、分類等功能，因此成為智能產(chǎn)品開發(fā)或產(chǎn)業(yè)升級換代的熱點。

然而，嵌入式AI不僅涉及軟件層面的算法設(shè)計，工具設(shè)計，也涉及硬件層面的芯片設(shè)計等一系列集成問題，因此也是一個門檻和復雜度極高的領(lǐng)域。

郭冰清，Xilinx軟件與AI市場部門，AI產(chǎn)品市場經(jīng)理

嵌入式AI/ML的主要應用市場及趨勢

ADAS 和自動駕駛、智慧城市、智慧醫(yī)療和工業(yè)視覺應用，是嵌入式 AI 應用的典型場景，也是賽靈思 一直專注的市場領(lǐng)域。

汽車領(lǐng)域

在汽車領(lǐng)域，賽靈思主要關(guān)注前視、后視、環(huán)視、盲區(qū)檢測、自動泊車、智能座艙及、傳感器融合和域控等覆蓋從L2到L5級別的ADAS及自動駕駛。我們知道，汽車是一個特殊的場景，它對整個ADAS或自動駕駛系統(tǒng)的實時性和正確性有極高的要求，這就需要嵌入式芯片同時具備卓越的AI加速能力、靈活應變的芯片架構(gòu)，還需要滿足行業(yè)最高的可靠性測試標準。賽靈思在今年6月份推出的7nm VersalTM AI Edge 系列，和當前ZynqTM UltraScale+ MPSoC系列，都涵蓋了汽車等級，并提供行業(yè)領(lǐng)先的AI算力及靈活性。

值得一提的是，為了保證車輛行駛中決策和控制的快速性及正確性，多傳感器融合是一個必然的趨勢。如今，汽車搭載了越來越多的傳感器，如攝像頭、雷達、激光雷達、毫米波雷達、超聲波等，賽靈思也為這種多傳感器架構(gòu)帶來了巨大價值。賽靈思產(chǎn)品一方面能夠增強高級信號處理、點云預處理，另一方面，通過Vitis AI還可以實現(xiàn)點云機器學習加速、Image-Lidar融合算法加速、4D 雷達機器學習加速等；這些在汽車多傳感器方案，甚至5G結(jié)合AI的車路協(xié)同中都扮演重要的角色。

智慧城市領(lǐng)域

賽靈思產(chǎn)品在智慧城市領(lǐng)域已有廣泛的應用，如智慧交通、智慧零售、智慧樓宇等。賽靈思產(chǎn)品除了本身具備靈活的I/O，支持MIPI、LVDS和多種傳感器接口、靈活的ISP支持策略、H264/H265視頻編解碼處理單元等能力以外，還具備強大的實時AI處理能力。

今年4月，賽靈思面向邊緣計算推出了基于Zynq UltraScale+ MPSoC的Kria K26 SOM卡和KV260視覺開發(fā)套件。同樣得益于VitisTM AI所帶來的AI性能加速，用戶能夠在這塊邊緣設(shè)備上實現(xiàn)多路、最高分辨率達4k、60幀的實時人臉檢測、ID跟蹤等功能；此外，Kria SoM也完全兼容賽靈思開放式AI模型庫，用戶可以從中選取模型任意切換或重新訓練部署，總之，Kria SoM非常適合智能相機、嵌入式視覺及其它安全、零售分析、智慧城市和機器視覺應用的生產(chǎn)和原型開發(fā)。

醫(yī)療及工業(yè)視覺領(lǐng)域

醫(yī)療及工業(yè)視覺領(lǐng)域也是賽靈思嵌入式AI落地的重要場景。在醫(yī)療領(lǐng)域，我們可以提供基于深度學習的醫(yī)療影像分析或超分辨率增強，用AI為醫(yī)護人員在內(nèi)窺鏡、超聲、核磁、X光檢測等場景提供更準確的判斷。自2019年新冠病毒蔓延以來，賽靈思及業(yè)內(nèi)合作伙伴Spline.ai利用Vitis AI，將集成了深度學習處理單元DPU的MPSoC邊緣器件和AWS物聯(lián)網(wǎng)服務結(jié)合，針對肺部感染及新冠病毒預測系統(tǒng)開發(fā)了可擴展的智能解決方案。

工業(yè)視覺領(lǐng)域

在工業(yè)視覺領(lǐng)域，賽靈思產(chǎn)品也在智慧工廠、智能工業(yè)相機、視覺控制及機器人等方面發(fā)揮重要的影響力，AI的作用主要體現(xiàn)在缺陷檢測、文字識別、實時分析等機器學習支持的預測性維護控制、遠程診斷等嵌入式端上智能化。

嵌入式AI場景落地的挑戰(zhàn)及解決方案

在嵌入式AI產(chǎn)品落地的過程中，開發(fā)者遇到的挑戰(zhàn)主要是：

●   首先，該方案是否靈活可擴展，能夠適配不同產(chǎn)品規(guī)?；蜃远x模塊？

●   其次，對于缺乏FPGA開發(fā)經(jīng)驗的用戶，是否有簡單易用的AI開發(fā)工具以降低開發(fā)難度？

●   第三，如何突破瓶頸，在算力有限的邊緣端實現(xiàn)AI加速性能的最大化？

為了應對這些挑戰(zhàn)，賽靈思在2020年初正式推出了Vitis AI解決方案，它是一套面向Xilinx Zynq SoC，Zynq MPSoC，Alveo及Versal ACAP的AI開發(fā)平臺，它能夠為用戶帶來最強大的機器學習加速性能，這主要通過方案中的神經(jīng)網(wǎng)絡(luò)加速引擎DPU、一系列自動化軟件工具（定點器、編譯器、優(yōu)化器）和AI運行時及加速庫來實現(xiàn)。

與傳統(tǒng)的基于硬件RTL語言開發(fā)AI加速IP方案的最大不同在于，Vitis AI向用戶提供一個通用的且可配置的神經(jīng)網(wǎng)絡(luò)加速引擎DPU，在ZU+及Versal平臺上用戶可以根據(jù)實際的邏輯資源選擇最佳的DPU配置，最大處理效率超過80%；同時，在最新的Vitis AI方案中，用戶可以通過調(diào)用Graph Runner API實現(xiàn)在DPU和CPU上對自定義算子的流暢部署，這也保證了開發(fā)者可以在不同大小的器件、不同模型之間靈活切換。

其次，Vitis AI可以支持主流的機器學習框架，如Pytorch，Tensorflow和Caffe；在開放模型庫AI Model Zoo中涵蓋了上百個經(jīng)過充分優(yōu)化、驗證及硬件部署的模型文件，其中不乏業(yè)界最先進的3D目標檢測算法、多任務學習算法、超分辨率增強算法，或時下流行的Yolo、Mobilenet、RefineDet、ResNet系列，用戶可以免費下載或基于不同場景數(shù)據(jù)集的重新訓練。

此外，針對嵌入式AI的部署環(huán)節(jié)，賽靈思也做了專門的軟件加速優(yōu)化，除了用自動化的定點器和編譯器將模型轉(zhuǎn)化為可部署形式外，用戶還可以直接調(diào)用相應的軟件加速庫AI Library，無需額外開發(fā)模型的前后處理模塊，從而實現(xiàn)在FPGA和ACAP上的快速部署。

最后，為了幫助客戶實現(xiàn)邊緣端的性能突破，賽靈思在基于Vitis軟件開發(fā)環(huán)境中，集成了大量經(jīng)過底層優(yōu)化的加速庫，通過C++、OpenCL library的方式提供給用戶，所以除了DPU對AI部分的加速以外，我們對端到端的前處理、后處理的全流程都可以加速，這樣即可實現(xiàn)邊緣端上的最大化性能。

賽靈思是深耕嵌入式領(lǐng)域數(shù)十年的可編程邏輯器件主要供應商，公司 轉(zhuǎn)型后成為基于FPGA 器件的自適應計算平臺供應商。幾年前通過新一代自適應計算架構(gòu) ACAP 的推出，以及人工智能科技公司深鑒科技的收購，在嵌入式AI  領(lǐng)域日益扮演重要角色。尤其是隨著Vitis AI 的 推出，讓高性能、靈活應變的賽靈思自適應計算平臺，從來沒有像今天這樣與開發(fā)者和科學家們?nèi)绱碎_始友好，不需要硬件設(shè)計知識，也不需要耗費精力在硬件平臺，就能快速將自己的嵌入式創(chuàng)意變成現(xiàn)實。我們希望攜手越來越多的開發(fā)者，將各種各樣的創(chuàng)新產(chǎn)品推向市場。