创龙 瑞芯微 RK3562 国产 2GHz 四核A53 工业开发板—NPU开发案例

前  言

本文主要介绍基于创龙科技TL3562-EVM评估板的NPU开发案例，适用开发环境如下。

Windows开发环境：Windows 7 64bit、Windows 10 64bit

虚拟机：VMware16.2.5

开发环境：Ubuntu20.04.6 64bit

U-Boot：U-Boot-2017.09

Kernel：Linux-5.10.209

LinuxSDK：rk3562-buildroot-2021.11-sdk-[版本号]（基于rk3562_linux_release_v1.2.0_20240620）

无特殊说明情况下，本文默认使用USB TO UART0作为调试串口，使用Linux系统启动卡（Micro SD方式）启动系统，通过路由器与PC机进行网络连接，请确保PC机、Ubuntu系统可正常访问互联网。

NPU(Neural network Processing Unit)，即神经网络处理器。RK3562内部已集成高能效神经网络处理器NPU，支持神经网络推理硬件加速，能够流畅运行AI算法。主要参数如下：

（1）支持INT4/INT8/INT16/FP16等；

（2）支持多种框架，如TensorFlow、MXNet、PyTorch、Caffe等；

（3）1TOPS算力。

备注：更多详细信息请查看“6-开发资料\数据手册\核心板元器件\CPU\”目录下的文档。

NPU开发流程如下：

（1）模型训练：用户根据需求自行训练模型或使用官方提供的模型；

（2）模型转换：使用RKNN-Toolkit2将预训练模型转换为RK3562 NPU可使用的RKNN模型；

（3）应用开发：基于RKNN API开发应用程序。

图 1 NPU开发流程图

我司提供的NPU开发案例位于产品资料“4-软件资料\Demo\platform-demos\”。其中，yolov5_object_detect案例为静态演示案例（通过单张图片进行目标识别），v4l2_yolov5_detect案例为动态演示案例（通过摄像头连续获取图像进行目标识别），具体说明如下。

表 1

关于RKNN-Toolkit2环境搭建、模型转换使用说明、混合量化、精度问题排查的详细介绍，可查看yolov5_object_detect案例"tool\rknn-toolkit2\doc\"目录下的"02_Rockchip_RKNPU_User_Guide_RKNN_SDK_V2.0.0beta0_CN.pdf"文档。

关于RKNN-Toolkit2模型转换API接口说明，可查看yolov5_object_de