|
方案亮點(diǎn) 極致算力：瑞芯微RK3588國產(chǎn)平臺，6TOPS高性能NPU，支持復雜神經(jīng)網(wǎng)絡(luò )推理； 實(shí)時(shí)檢測：YOLOv5s模型，輕松實(shí)現640x640分辨率，49fps檢測速度； 多場(chǎng)景適配：工業(yè)/醫療/安防等應用領(lǐng)域。 技術(shù)原理解析 YOLO簡(jiǎn)介 YOLO（You Only Look Once）是一種基于深度學(xué)習的目標檢測算法。YOLO把目標檢測轉變?yōu)橐粋�(gè)回歸問(wèn)題，通過(guò)一次遍歷即可同時(shí)預測圖像中物體的位置和類(lèi)別。相較與傳統的目標檢測方法，YOLO的主要特點(diǎn)是速度快且準確度較高，能夠在實(shí)時(shí)場(chǎng)景下實(shí)現快速的目標檢測，適用于目標識別跟蹤、自動(dòng)駕駛、工業(yè)質(zhì)檢等需要實(shí)時(shí)處理的場(chǎng)景。 圖1 YOLOv5優(yōu)勢YOLOv5代碼開(kāi)源，可在多種操作系統和硬件平臺上運行，并且支持深度學(xué)習框架，這使得其更易于使用和部署。 （1）高檢測速度：由于YOLOv5采用了單階段的目標檢測架構，它能夠在保證一定檢測精度的前提下，實(shí)現非常高的檢測速度。 （2）高精度檢測：通過(guò)不斷優(yōu)化網(wǎng)絡(luò )結構和訓練方法，YOLOv5在模型的感知能力和對小尺寸目標的檢測準確性上有了很大的提升。它能夠準確地定位目標的邊界框，并正確地識別目標的類(lèi)別。 （3）多目標檢測能力：YOLOv5可以同時(shí)檢測圖像中的多個(gè)目標，并且能夠處理不同大小、不同形狀和不同類(lèi)別的目標。 實(shí)測性能數據 圖2 RK3588 NPU典型工業(yè)應用場(chǎng)景 圖3 RK3588 NPU開(kāi)發(fā)案例開(kāi)發(fā)環(huán)境 本文主要介紹基于RK3588J的NPU開(kāi)發(fā)案例，適用以下開(kāi)發(fā)環(huán)境： Windows開(kāi)發(fā)環(huán)境：Windows 7 64bit、Windows 10 64bit Linux開(kāi)發(fā)環(huán)境：VMware16.2.5、Ubuntu22.04.5 64bit U-Boot：U-Boot-2017.09 Kernel：Linux-5.10.209 LinuxSDK：LinuxSDK-[版本號]（基于rk3588_linux_release_v1.5.0） 硬件平臺：創(chuàng )龍科技RK3588J工業(yè)評估板（TL3588-EVM） 案例說(shuō)明 本案例通過(guò)V4L2采集MIPI攝像頭圖像，利用RGA硬件協(xié)處理器進(jìn)行裁剪和縮放，經(jīng)YOLOv5模型識別目標坐標和標簽，最后通過(guò)Qt將識別結果疊加到圖像上，并輸出至HDMI顯示。 圖4 案例測試請使用FFC軟排線(xiàn)將MIPI攝像頭模塊連接至評估板CAMERA2接口，將評估板HDMI OUT接口連接至HDMI顯示屏。 圖5 參考產(chǎn)品資料，完成替換內核鏡像、IQ參數文件等環(huán)境搭建后，執行如下命令，將采集并識別后的圖像顯示到顯示屏上。 Target#./v4l2_yolov5_detect -M rockchip -i /dev/video-camera0 -S 1920x1080 -f NV12 -F BG24 -b 4 -o 208:71:1920x1080 -m ./model/yolov5s-640-640_rk3588.rkn 圖6 顯示屏上顯示1920x1080@30fps畫(huà)面。將攝像頭朝向模型中已有可識別的物體，可看到圖像上被識別物體位置出現標記框，如下圖所示。 圖7 本程序能夠支持識別的目標數據集類(lèi)型說(shuō)明位于案例目錄“binmodel”目錄下的coco_80 _labels_list.txt文件，用戶(hù)可根據相關(guān)目標類(lèi)型進(jìn)行測試驗證。 圖8 獲取更多RK3588相關(guān)的開(kāi)發(fā)手冊和案例代碼 ，可前往創(chuàng )龍科技官網(wǎng)或微信公眾號。 |
