|
RK3562J是瑞芯微最新推出的一款超高性?xún)r(jià)比工業(yè)處理器，四核Cortex-A53@1.8GHz + Cortex-M0@200MHz異構多核架構，并支持十路UART、兩路CAN、兩路網(wǎng)口、三種顯示、雙路Camera等，外設接口資源十分豐富，是RK3568J處理器降成本、降功耗的首選平臺，在工商業(yè)儲能EMS、通訊管理機、運動(dòng)控制器、AGV機器人、車(chē)載數據網(wǎng)關(guān)等場(chǎng)景被廣泛應用。 近期，瑞芯微在RK3562J處理器上正式開(kāi)放NPU功能，使RK3562J的應用領(lǐng)域進(jìn)一步拓展到機器視覺(jué)、工業(yè)相機、目標識別等領(lǐng)域，性?xún)r(jià)比得到進(jìn)一步提升。創(chuàng )龍科技RK3562核心板（商業(yè)級）含稅價(jià)格一片起僅168元，性?xún)r(jià)比還是蠻高的，并且此平臺目前已被超過(guò)500家工業(yè)客戶(hù)選用，得到了用戶(hù)的廣泛好評。RK3562J NPU簡(jiǎn)介 瑞芯微RK3562J是一款超高性?xún)r(jià)比國產(chǎn)工業(yè)級處理器，內置超強算力NPU，算力高達1TOPS，能夠實(shí)現高效的神經(jīng)網(wǎng)絡(luò )推理計算。RK3562J的NPU支持多種數據類(lèi)型，包括INT4、INT8、INT16、FP16等，兼容TensorFlow、PyTorch、Caffe、MXNet等深度學(xué)習框架，能夠為開(kāi)發(fā)者提供豐富的工具和庫，使他們能夠方便地進(jìn)行模型訓練和推理，可輕松應對各種大數據運算場(chǎng)景。 圖 1 RK3562J 典型應用場(chǎng)景 圖 2 RK3562J NPU開(kāi)發(fā)流程 第一步：模型訓練 首先需要收集并準備訓練數據，選擇適合的深度學(xué)習框架（如TensorFlow、PyTorch、Keras等）訓練模型或使用官方提供的模型。 第二步：模型轉換 完成模型訓練后，使用RKNN-Toolkit2將預訓練模型轉換為RK3562J NPU可使用的RKNN模型。這通常涉及到將模型中的計算圖進(jìn)行適當的修改和優(yōu)化，以適應NPU的硬件架構和指令集。 第三步：應用開(kāi)發(fā) 基于RKNN API開(kāi)發(fā)應用程序。開(kāi)發(fā)階段需要根據具體需求，將轉換后的模型集成到應用程序中。 圖 3 RK3562J NPU開(kāi)發(fā)案例 本文主要介紹基于RK3562J的NPU開(kāi)發(fā)案例，適用開(kāi)發(fā)環(huán)境如下。 Windows開(kāi)發(fā)環(huán)境：Windows 7 64bit、Windows 10 64bit 虛擬機：VMware16.2.5 開(kāi)發(fā)環(huán)境：Ubuntu20.04.6 64bit U-Boot：U-Boot-2017.09 Kernel：Linux-5.10.198 LinuxSDK：LinuxSDK-[版本號]（基于RK3562_LINUX_SDK_RELEASE_V1.1.0_20231220） 硬件平臺：創(chuàng )龍科技TL3562-EVM工業(yè)評估板（基于RK3562J） 為了簡(jiǎn)化描述，本文僅摘錄部分方案功能描述與測試結果，詳細產(chǎn)品資料可以通過(guò)公眾號（Tronlong創(chuàng )龍科技）下載。 案例說(shuō)明 案例基于RKNN API實(shí)現對圖片中目標對象的識別，并將識別結果以加水印的方式添加至圖像，然后保存成圖片文件。案例進(jìn)行10次循環(huán)測試，統計出推理的平均處理耗時(shí)。 程序處理流程圖如下： 圖 4 案例演示通過(guò)網(wǎng)線(xiàn)將評估板千兆網(wǎng)口ETH0 RGMII連接至路由器。 圖 5 在可執行文件所在目錄，執行如下命令，對圖片bus.jpg目標對象進(jìn)行模型推理。備注：模型運行的時(shí)間會(huì )有抖動(dòng)。 Target#./yolov5_object_detect yolov5s-640-640_rk3562.rknn bus.jpg 圖 6 從輸出信息可知，本案例程序識別出測試圖片bus.jpg中包含person、car、bus、truck對象，運行1次模型耗時(shí)約為70.18ms；循環(huán)運行10次模型平均耗時(shí)約為54.56ms。案例程序對測試圖片bus.jpg的目標對象標記成功后將輸出標記圖片out.jpg至當前目錄，將out.jpg文件拷貝至Windows下，并使用PC端相關(guān)軟件對比查看bus.jpg與out.jpg，結果如下所示。 圖 7 bus.jpg 圖 8 out.jpg 不難看出，圖8的案例程序是能夠清晰準確地框選出人物、汽車(chē)、巴士、卡車(chē)，同時(shí)顯示person、car、bus、truck文字標簽和置信度，標記出對象的數量等信息。到這里，簡(jiǎn)單的NPU開(kāi)發(fā)演示案例就結束了，想要查看更多RK3562J相關(guān)的案例演示，歡迎各位工程師關(guān)注公眾號（Tronlong創(chuàng )龍科技）并下載，快來(lái)試試吧！ |
