|
前 言 本文主要介紹基于創(chuàng )龍科技TL3562-MiniEVM評估板的NPU開(kāi)發(fā)案例，適用開(kāi)發(fā)環(huán)境如下。 Windows開(kāi)發(fā)環(huán)境：Windows 7 64bit、Windows 10 64bit 虛擬機：VMware16.2.5 開(kāi)發(fā)環(huán)境：Ubuntu20.04.6 64bit U-Boot：U-Boot-2017.09 Kernel：Linux-5.10.209 LinuxSDK：rk3562-ubuntu20.04-sdk-[版本號]（基于rk3562_linux_release_v1.2.0） 無(wú)特殊說(shuō)明情況下，本文默認使用USB TO UART0作為調試串口，使用系統啟動(dòng)卡（Micro SD方式）啟動(dòng)系統，通過(guò)路由器與PC機進(jìn)行網(wǎng)絡(luò )連接，請確保PC機、Ubuntu系統可正常訪(fǎng)問(wèn)互聯(lián)網(wǎng)。 NPU(Neural network Processing Unit)，即神經(jīng)網(wǎng)絡(luò )處理器。RK3562內部已集成高能效神經(jīng)網(wǎng)絡(luò )處理器NPU，支持神經(jīng)網(wǎng)絡(luò )推理硬件加速，能夠流暢運行AI算法。主要參數如下： （1） 支持INT4/INT8/INT16/FP16等； （2） 支持多種框架，如TensorFlow、MXNet、PyTorch、Caffe等； （3） 1TOPS算力。 備注：更多詳細信息請查看“6-開(kāi)發(fā)參考資料\數據手冊\核心板元器件\CPU\”目錄下的文檔。 NPU開(kāi)發(fā)流程如下： （1） 模型訓練：用戶(hù)根據需求自行訓練模型或使用官方提供的模型； （2） 模型轉換：使用RKNN-Toolkit2將預訓練模型轉換為RK3562 NPU可使用的RKNN模型； （3） 應用開(kāi)發(fā)：基于RKNN API開(kāi)發(fā)應用程序。 圖 1 NPU開(kāi)發(fā)流程圖 我司提供的NPU開(kāi)發(fā)案例位于產(chǎn)品資料“4-軟件資料\Demo\platform-demos\”，具體說(shuō)明如下。關(guān)于RKNN-Toolkit2模型轉換API接口說(shuō)明，可查看yolov5_object_detect案例"tool\rknn-toolkit2\doc\"目錄下的"02_Rockchip_RKNPU_User_Guide_RKNN_SDK_V2.0.0beta0_CN.pdf"文檔。 關(guān)于RKNN API的詳細使用說(shuō)明，可查看yolov5_object_detect案例"tool\rknn-toolkit2\doc\"目錄下的"04_Rockchip_RKNPU_API_Reference_RKNNRT_V2.0.0beta0_CN.pdf"文檔。 評估板簡(jiǎn)介 創(chuàng )龍科技 TL3562-MiniEVM 是一款基于瑞芯微 RK3562J/RK3562 處理器設計的四核 ARM Cortex-A53 + 單核 ARM Cortex-M0 國產(chǎn)工業(yè)評估板，主頻高達 2.0GHz。評估板由核心板和評估底板組成，核心板 CPU、ROM、RAM、電源、晶振等所有元器件均采用國產(chǎn)工業(yè)級方案，國產(chǎn)化率 100%，評估底板大部分元器件亦采用國產(chǎn)工業(yè)級方案，國產(chǎn)化率約 99%（按元器件數量占比，數據僅供參考）。核心板經(jīng)過(guò)專(zhuān)業(yè)的 PCB Layout 和高低溫測試驗證，支持選配屏蔽罩，質(zhì)量穩定可靠，可滿(mǎn)足各種工業(yè)應用環(huán)境要求。 評估板引出 2 路 Ethernet、2 路 USB、Micro SD、UART 等通信接口，同時(shí)引出 2 路 M IPI CSI、LVDS LCD、MIPI LCD、HDMI OUT、MIC IN、SPK OUT、HP OUT 多媒體接口，支 持 1080P@60fps H.264 視頻編碼、4K@30fps H.265 視頻解碼。 評估板體積小巧，尺寸為 85x130mm，可作為卡片式電腦使用，且便于產(chǎn)品集成，方便用戶(hù)快速進(jìn)行產(chǎn)品方案評估與技術(shù)預研。 評估板硬件資源圖解 1 評估板硬件資源圖解 2 案例說(shuō)明 本案例基于RKNN API實(shí)現對圖片中目標對象的識別，并將識別結果以加水印的方式添加至圖像，并保存成圖片文件。案例循環(huán)測試10次，統計出推理的平均處理耗時(shí)。 備注：本案例基于瑞芯微官方例程實(shí)現，進(jìn)行了目錄的重構及編譯的簡(jiǎn)化,功能邏輯未進(jìn)行修改。 程序處理流程圖如下： 圖 2 案例測試 請通過(guò)網(wǎng)線(xiàn)將評估板千兆網(wǎng)口ETH0 RGMII連接至路由器。 圖 3 請將案例bin目錄下的所有文件拷貝至評估板文件系統任意目錄下。 圖 4 在可執行文件所在目錄，執行如下命令，對圖片目標對象進(jìn)行模型推理。 備注：模型運行的時(shí)間會(huì )有抖動(dòng)。 Target# ./yolov5_object_detect yolov5s-640-640_rk3562.rknn car.jpg 圖 5 從輸出信息可知，本案例程序識別出測試圖片包含person、car、bus、truck等對象，運行1次模型耗時(shí)為73.843000ms；循環(huán)運行10次模型平均耗時(shí)為47.365303ms。 案例程序對測試圖片的目標對象標記成功后將輸出名稱(chēng)為out.jpg的標記圖片至當前目錄，請將out.jpg文件拷貝至Windows下，并使用PC端相關(guān)軟件對比查看car.jpg與out.jpg，測試結果如下所示。 圖 6 圖 7 car.jpg 圖 8 out.jpg 從out.jpg圖片可知，案例程序能正確框選出人物、汽車(chē)等物體，同時(shí)顯示person、car文字標簽和置信度，標記對象的數量及信息等與程序打印信息一致。 本程序能夠支持識別的目標數據集類(lèi)型說(shuō)明位于bin目錄下的coco_80_labels_list.txt文件，用戶(hù)可根據相關(guān)目標類(lèi)型進(jìn)行測試驗證。 圖 9 案例編譯 將案例src源碼目錄拷貝至Ubuntu工作目錄下，請先確保已參考《Ubuntu系統使用手冊》文檔安裝LinuxSDK。進(jìn)入源碼目錄，執行如下命令配置環(huán)境變量，并修改CMake配置文件CMakeLists.txt，請根據實(shí)際情況修改為L(cháng)inuxSDK源碼路徑。 Host# source /home/tronlong/RK3562/Ubuntu/rk3562-ubuntu20.04-sdk-v1.0/environment Host# vim CMakeLists.txt 圖 10 圖 11 新建一個(gè)build目錄，用于存放編譯過(guò)程產(chǎn)生的相關(guān)文件。 Host# mkdir -p build 圖 12 進(jìn)入build目錄，執行如下命令進(jìn)行案例編譯，編譯完成將會(huì )在build目錄下生成編譯過(guò)程產(chǎn)生的相關(guān)文件，并在src目錄下生成install目錄，該目錄下存放案例相關(guān)文件。Host# cd build Host# cmake ../ Host# make -j8 Host# make install 圖 13 圖 14 build目錄存放編譯過(guò)程產(chǎn)生的相關(guān)文件，install目錄存放案例相關(guān)文件，包括測試圖片car.jpg、類(lèi)別數據集coco_80_labels_list.txt、RKNN模型yolov5s-640-640_rk3562.rknn和可執行程序yolov5_object_detect等文件，如下圖所示。 圖 15 關(guān)鍵代碼 （1） 加載圖片RGB數據。 圖 16 （2） 加載模型并初始化RKNN。圖 17 （3） 前處理，對圖像進(jìn)行縮放和裁剪以適配模型輸入。圖 18 （4） 設置模型運行輸入輸出參數，NPU運行模型，獲取模型輸出，統計運行耗時(shí)。圖 19 圖20 （6） 使用目標識別結果給圖片添加水印，并保存為圖片文件。圖 21 圖 22 |
