【yolov5系列】yolov5-onnxruntime在Ubuntu和RK芯片上运行

原创已于 2023-02-01 08:28:55 修改 · 2k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#ubuntu #YOLO

于 2023-01-31 17:14:21 首次发布

yolo系列同时被 2 个专栏收录

22 篇文章

订阅专栏

工程配置

10 篇文章

订阅专栏

本文介绍如何在x64平台和移动端部署YOLOv5的ONNX模型，包括所需库的下载与安装、交叉编译器的使用、CMake配置及编译命令等关键技术步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

这里yolov5的onnx模型的推理，分别在 x64上和移动端上运行，前者在自己本地Ubuntu系统上运行，后者在瑞芯微的rk3566上运行。
要完成如上工作我们需要一下步骤：

1 下载onnxruntime编译好的库
2 下载opencv库并安装
3 下载交叉编译器
4 下载yolov5-onnxruntime的工程并运行

1 下载onnxruntime库

github上搜索 onnxruntime，能看到微软提供的库。链接为 https://github.com/microsoft/onnxruntime

2 opencv的下载

https://opencv.org/releases/

opencv的编译比较容易【OpenCV之路】ubuntu下的安装C++的opencv4、opencv_contrib、python中opencv的cuda加速、ubuntu下opencv的第一个工程该链接下，只需要编译到【3.1 c++/opencv 的编译】章节即可。

3 交叉编译器的下载

下载链接为 gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu的下载

一般的，下载后解压到固定路径下，并添加到系统环境变量中即可使用。
这里只针对当前工程测试，暂不进行系统环境变量配置，下载解压即可。

4 下载yolov5的onnxruntime的工程并运行

4.1 工程下载与目录结构构建

使用的yolov5-onnxruntime的工程链接为 https://github.com/itsnine/yolov5-onnxruntime

创建某个路径，这里为【/home/xyy/LL_DATA/LL/YOLOV5】
解压并构建如下目录结构：

├──yolov5-onnxruntime 【工程解压路径】
├──GCC_COMPILER
├── gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu 【交叉编译器解压文件】
├──libs
├── onnxruntime
├──onnxruntime-linux-x64-1.11.1 【库解压路径】
├──onnxruntime-linux-aarch64-1.11.1 【库解压路径，用于移动端的库的编译】
├── opencv
├──opencv_x64 【编译好opencv的bin/include/lib64文件，拷贝到此】
├──opencv410_aarch64 【用于移动端库的编译，使用交叉编译器可编译，这里不展开介绍】

4.2 代码的修改

因为要在移动端运行，所以cv::imshow()无法使用，故将main.cpp中最后几行代码修改成如下（pc端运行时可不用修改）。

4.3 CMakeLists.txt 文件修改

修改【CMakeLists.txt】文件内的设置如下：
cmake_minimum_required(VERSION 3.0.0)
project(yolo_ort)

set(CMAKE_SYSTEM_NAME Linux)
set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS}")
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11")

# onnxruntime api
option(ONNX_API_PATH "Path to built ONNX Runtime directory." STRING)
message(STATUS "ONNX_API_PATH: ${ONNX_API_PATH}")
# set(ONNX_API_PATH ${CMAKE_SOURCE_DIR}/../libs/onnxruntime/onnxruntime-linux-x64-1.11.1)
# message(${ONNX_API_PATH})
include_directories(${ONNX_API_PATH}/include)
set(ONNX_API_LIB ${ONNX_API_PATH}/lib/libonnxruntime.so)

# opencv
option(OPENCV_PATH "Path to built ONNX Runtime directory." STRING)
message(STATUS "OPENCV_PATH: ${OPENCV_PATH}")
# set(OPENCV_PATH ${CMAKE_SOURCE_DIR}/../libs/opencv/opencv_x64)
# message(${OPENCV_PATH}  )
include_directories(${OPENCV_PATH}/include/)
file(GLOB OpenCV_LIBS ${OPENCV_PATH}/lib64/*.so*)

##
include_directories("include/")

add_executable(yolo_ort
              src/main.cpp
              src/detector.cpp
              src/utils.cpp)

set(CMAKE_CXX_STANDARD 14)
set(CMAKE_CXX_STANDARD_REQUIRED ON)

target_include_directories(yolo_ort PRIVATE "${ONNXRUNTIME_DIR}/include")
# link_directories("${ONNXRUNTIME_DIR}/lib")
target_compile_features(yolo_ort PRIVATE cxx_std_14)
target_link_libraries(yolo_ort ${OpenCV_LIBS}
                               ${ONNX_API_LIB}
                               dl)

# install target and libraries
option(INSTALL_PATH "Path to built ONNX Runtime directory." STRING)
message(STATUS "INSTALL_PATH: ${INSTALL_PATH}")
set(CMAKE_INSTALL_PREFIX ${INSTALL_PATH})
install(TARGETS yolo_ort DESTINATION ./)
install(DIRECTORY models DESTINATION ./)
install(DIRECTORY images DESTINATION ./)
install(PROGRAMS ${ONNX_API_LIB} DESTINATION lib)
install(PROGRAMS ${OPENCV_LIBS} DESTINATION lib)
4.4 编译命令

本地Ubuntu上进行编译，方便期间这里将编译的命令写成sh文件【build_x64.sh】
rm -R build
set -e

ROOT_PWD=$(pwd)
echo ${ROOT_PWD}

# 进入build文件
mkdir ${ROOT_PWD}/build
cd ${ROOT_PWD}/build
cmake .. \
   -DONNX_API_PATH=${ROOT_PWD}/../libs/onnxruntime/onnxruntime-linux-x64-1.11.1 \
   -DOPENCV_PATH=${ROOT_PWD}/../libs/opencv/opencv_x64 \
   -DINSTALL_PATH=${ROOT_PWD}/install/yolov5_x64
   
make -j10
make install

echo "\n========================================="
md5sum yolo_ort
date +%Y/%m/%d%t%H:%M:%S
使用交叉编译器进行编译（然后在rk3566上运行），方便期间这里将编译的命令写成sh文件【build_aarch64_onnx.sh】
rm -R build
set -e

# for rk1808 aarch64
GCC_COMPILER_PATH=/home/xyy/LL_DATA/LL/YOLOV5/GCC_COMPILER/gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu/bin
GCC_COMPILER=${GCC_COMPILER_PATH}/aarch64-linux-gnu

ROOT_PWD=$(pwd)
echo ${ROOT_PWD}

# 进入build文件
mkdir ${ROOT_PWD}/build
cd ${ROOT_PWD}/build
cmake .. \
   -DCMAKE_C_COMPILER=${GCC_COMPILER}-gcc \
   -DCMAKE_CXX_COMPILER=${GCC_COMPILER}-g++ \
   -DONNX_API_PATH=${ROOT_PWD}/../libs/onnxruntime/onnxruntime-linux-aarch64-1.11.1 \
   -DOPENCV_PATH=${ROOT_PWD}/../libs/opencv/opencv410_aarch64 \
   -DINSTALL_PATH=${ROOT_PWD}/install/yolov5_aarch64_onnx 

make -j10
make install

echo "\n========================================="
${GCC_COMPILER_PATH}/aarch64-linux-gnu-strip ${ROOT_PWD}/install/yolov5_aarch64_onnx/yolo_ort
md5sum yolo_ort
date +%Y/%m/%d%t%H:%M:%S
4.5 编译与运行

4.5.1 PC上的编译与推理

根目录打开终端运行
sh build_x64.sh
然后会生成路径【install/yolov5_x64/】,在另外一个终端进入到到该路径下，运行命令
./yolo_ort --model_path=./models/yolov5s.onnx --image=./images/bus.jpg --class_names=./models/coco.names
终端显示如下，便是成共运行了，在【install/yolov5_x64/】路径下会生成预测结果【result.jpg】

4.5.2 移动端库的编译和推理

根目录打开终端运行
sh build_aarch64_onnx.sh
然后会生成路径【install/yolov5_aarch64_onnx/】

我们将该路径下的文件全部拷贝到rk3566主板上，然后终端进入主板中的工程路径下运行如下命令
export LD_LIBRARY_PATH=./lib
./yolo_ort --model_path=./models/yolov5s.onnx --image=./images/bus.jpg --class_names=./models/coco.names
如果文件有权限问题，修改权限后运行即可。