基于x86_64主机Ubuntu18.04配置LibTorch进行C++验证YOLOv8调用CUDA推理识别环境安装调试详细记录

最新推荐文章于 2025-06-14 20:01:37 发布
原创 最新推荐文章于 2025-06-14 20:01:37 发布 · 1.2k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#c++ #目标检测 #opencv #pytorch #yolov8 #ubuntu

前言：

a. 在ubuntu系统下安装nvidia-driver若不成功,在bios下找到secure boot选项并设为disable关闭;所有操作均在root下进行。

b. LibTorch是PyTorch C++ API，来加载和推理 YOLO模型，ultralytics源码链接：ultralytics/ultralytics: Ultralytics YOLO11 🚀；YOLOv8源码中ultralytics-main\examples\YOLOv8-LibTorch-CPP-Inference中对环境要求如下所示：
在这里插入图片描述
c. LibTorch 的版本和 PyTorch 是对应的，CUDA、Python、PyTorch、torchvision版本对应关系

CUDA Python PyTorch torchvision
cu117，cu118 cp38，cp39，cp310，cp311 2.0.1 0.15.1
cu117，cu118 cp38，cp39，cp310，cp311 2.0.0 0.15.0
cu116，cu117 cp37，cp38，cp39，cp310 1.13.1 0.14.1
cu116，cu117 cp37，cp38，cp39，cp310 1.13.0 0.14.0
cu113，cu116 cp37，cp38，cp39，cp310 1.12.1 0.14.0
cu113，cu116 cp37，cp38，cp39，cp310 1.12.0 0.13.0
cu113，cu115 cp37，cp38，cp39，cp310 1.11.0 0.12.0
cu102，cu111 cu113 cp36，cp37，cp38，cp39 1.10.2 0.11.2
cu102，cu111 cu113 cp36，cp37，cp38，cp39 1.10.1 0.11.1
cu102，cu111 cu113 cp36，cp37，cp38，cp39 1.10.0 0.11.0
cu102，cu111 cp36，cp37，cp38，cp39 1.9.1 0.10.1
cu102，cu111 cp36，cp37，cp38，cp39 1.9.0 0.10.0
cu101，cu102 cu111 cp36，cp37，cp38，cp39 1.8.1 0.9.1
cu101，cu111 cp36，cp37，cp38，cp39 1.8.0 0.9.0

本次配置采用：gcc/g++ 9.4、Cmake-3.31.0、LibTorch-1.13.1、Python-3.8、CUDA-11.7.1、cuDNN-8.8.1.3、Opencv-4.5.5

1. ubuntu18.04 换源

sudo su
vim /etc/apt/sources.list

apt-get update

##清华源
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

2. ubuntu18.04 升级 gcc、g++

add-apt-repository ppa:ubuntu-toolchain-r/test  ## 添加ppa源
apt-get update

apt-get install gcc-9 g++-9


cd /usr/bin/

rm -rf gcc g++
ln -s gcc-9 gcc   ## 重新建立链接
ln -s g++-9 g++


gcc --version   ## 查看版本
g++ --version

最低0.47元/天 解锁文章

200万优质内容无限畅学
Yan_uuu
关注
Ubuntu18.04安装onnxruntime（c++版）与CUDA运行Demo
～勿据散客～的博客
11-27 2809
根据项目需求，从pytorch转的onnx模型做部署。怎么转忘了做笔记了，大家自行搜索吧……
YOLOV8使用Opencv部署实现(C++版)
低调猫熊的博客
03-18 2513
这里的输入其实就是一张640*640大小的RGB三通道图片，输出是一个8400行5列的矩阵。这里的输出维度8400是和训练时选择的模型有关（本文选择的s），5是和自己的检测类有关（一般为类别数加4，4为坐标x,y,w,h）。今天跟大家分享一下yolov8的C++部署，网上有很多Tensort的教程，其实部署原理都一样，只是看到很少有介绍这部分的，所以分享一下。可以看到，模型输出的值与上文说的是对应的。这里进行了归一化操作，包括之后输出的值，也都是归一化之后的，要获取对应的像素值需要进行转换。
Libtorch+opencv部署yolov8(c++版本)
weixin_68534231的博客
10-22 2441
libtorch、opencv和yolo的c++部署相关！
YOLOv8分类的三种C++实现：opencv dnn/libtorch/onnxruntime
最新发布
网络资源是无限的
06-14 833
YOLOv8分类的三种C++实现：opencv dnn/libtorch/onnxruntime
【模型c++部署】yolov8（检测、分类、分割、姿态）使用openvino进行部署
qq_44747572的博客
11-09 7942
该文主要是对yolov8的检测、分类、分割、姿态应用使用c++进行dll封装，并进行调用测试。
yolov8 c++进行部署
u011489887的专栏
10-25 4077
指定版本的source代码，并解压到本地。解压后执行make命令/etc/ld.so.conf.d/路径下创建任意一个.conf文件，把lib文件的路径写在里面,一般是 /usr/local/lib，然后执行 sudo ldconfig即可。（否则会报错：error while loading shared libraries: libopencv_core.so.4.8: cannot open shared object file）
超详细的YOLOv8项目组成解析：一站式指南了解其架构与组件_yolov8如何运行在arm64架构上
2401_84140332的博客
04-09 1994
最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！
Ubuntu18.04 搭建YOLOV4环境
tugouxp的专栏
08-01 3557
下载代码，编译 git clone https://github.com/AlexeyAB/darknet cd darknet make 下载预训练权重: 验证： caozilong@caozilong-Vostro-3268:~/Workspace/yolo/darknet$ ./darknet detector test ./cfg/coco.data ./cfg/yolov4.cfg ./yolov4.weights data/dog.jpg GPU isn't used ..
C++版本：最新Yolov5-Tensorrt-Clion-Ubuntu 包含全部代码
深度学习哪些事
05-28 2837
之前的博客中点我，介绍了笔者目前实现的一个Yolov5的推理加速，当时是展示性质的介绍，这里我会把详细的步骤一一介绍给大家，让大家都能亲自复现效果。
(ubuntu 18.04 cuda 10.2 pytorch onnx→tensorrt) 使用tensorrt加载并运行onnx模型
heiha1232的博客
04-15 1007
2021.4 ubuntu 18.04 cuda 10.2 pytorch onnx→tensorrt使用tensorrt加载并运行onnx模型0. TensorRT介绍1. 安装tensorrt、pycuda1.1 安装tensorrt1.2 安装pycuda2. 将pytorch模型转化为onnx模型3. tensorrt调用onnx模型进行预测4. 注意事项 0. TensorRT介绍 https://docs.nvidia.com/deeplearning/tensorrt/developer-gu
libtorch-rpi-cxx11-abi-shared-1.6.0.zip
09-11
libtorch移动端部署预编译库压缩文件，包含依赖
libtorch 分类C++推断
jiayou2021的博客
12-10 271
分类C++推断 #pragma once #define _CRT_SECURE_NO_WARNINGS #include<torch/torch.h> #include<torch/script.h> #include<iostream> #include <windows.h> #include <tuple> #include <string> #include <opencv2/opencv.hpp> #inclu
libtorch 语义分割 C++推断
jiayou2021的博客
12-10 528
语义分割C++推断 #pragma once #include<string> #include<opencv2/opencv.hpp> #include<opencv2/core/core.hpp> #include<opencv2/highgui/highgui.hpp> #include<opencv2/imgproc/imgproc.hpp> class _declspec(dllexport)Runtime_Segmentation_
yolov8使用C++推理的流程及注意事项
Is_ever的博客
08-28 2933
1.下载yolov8项目源码2.下载opencv,建议版本>=4.7.0,选择下载源码，windows版本由于使用的编译器与我们所使用的mingw不一致，后续会出现错误，所以我们选择自己编译3.下载cmake编译工具，添加到环境变量，自行百度，版本选最新即可4.下载c++编译器mingw，版本注意选择好，我这里选择的是11.2.0这个版本，如果选择最新版的后面编译opencv源码时会出现问题（原因未知）5.使用cmake和mingw编译opencv源码。
YOLOV8目标检测C++推理问题总结
Stone_石头
10-31 612
问题：如图，针对同一张图片，上图为python直接预测的结果，下图为OpenCV的DNN推理结果（ONNXRuntime也和下图差不多），和结果差异很大，原因未知。注意把#include <torch/torch.h>放到include "opencv.hpp"前面，不然也会冲突报错。数据集有限，使用paddleOCR直接识别准确率无法达到99%，这里尝试用目标检测对识别得分比较低的图片进行二次处理；类别数目：数字（10）+字母（26）+字符（2）= 38。最后使用Libtorch推理，效果可以。
超详细的YOLOv8项目组成解析：一站式指南了解其架构与组件
CDBmax的博客
12-22 8640
最近的更新是关于“Segment ONNX Runtime example”的，意味着它添加了对ONNX运行时的支持，特别是针对模型分割功能的支持。这些文件和文件夹共同工作，以确保 YOLOv8 的文档是全面的、多语言的，并且始终保持最新。这些示例涵盖了从基本的对象检测到更复杂的图像分割和视频处理任务，为开发者提供了丰富的学习资源和应用指导。最近的更新也是关于 ONNX 运行时示例。这些文件夹共同构成了 YOLOv8 的基础框架，从数据处理和模型配置到实际的训练和推理引擎，以及实用工具和高级功能的实现。
MNN-YOLOv8 c++ 推理+交叉编译
星月IWJ
05-17 1136
MNN-YOLOv8 c++ 推理+openwrt交叉编译后推理
Ubuntu20.04安装libtorch并测试（一定要验证测试有效性！！！）
qq_39568387的博客
09-04 638
ubuntu20.04安装libtorch
ubuntu18.04下载onnxruntime
03-29
### 下载并安装 ONNX Runtime 的方法 要在 Ubuntu 18.04 上下载并安装 ONNX Runtime，可以采用二进制文件的方式或者通过源码编译的方式来完成。以下是具体的操作说明： #### 方法一：使用预构建的二进制文件 可以通过官方发布的预构建二进制文件来快速部署 ONNX Runtime。 1. **更新系统软件包** 首先确保系统的软件包是最新的： ```bash sudo apt update && sudo apt upgrade -y ``` 2. **安装必要的依赖项** 安装 GCC、G++ 编译器以及 Python 工具链： ```bash sudo apt install gcc-8 g++-8 python-pip -y ``` 这些工具对于后续可能涉及的扩展功能非常重要[^1]。 3. **下载 ONNX Runtime 二进制文件** 访问 ONNX Runtime 的 GitHub 发布页面获取最新版本的二进制文件： [https://github.com/microsoft/onnxruntime/releases](https://github.com/microsoft/onnxruntime/releases) 找到适合 Linux 平台的 `.tar.gz` 文件（通常是 `onnxruntime-linux-x64-*version*.tgz`），然后将其解压至目标目录： ```bash wget https://github.com/microsoft/onnxruntime/releases/download/v*.*.**/onnxruntime-linux-x64-*.*.*.tgz tar -xzvf onnxruntime-linux-x64-*.*.*.tgz -C /usr/local/ ``` 4. **验证安装** 解压完成后，可以在 `/usr/local/lib` 中找到动态库文件 `libonnxruntime.so`，并通过以下方式测试其可用性： ```bash ldd /usr/local/lib/libonnxruntime.so ``` --- #### 方法二：从源码编译 ONNX Runtime 如果需要自定义选项或支持特定硬件加速，则可以选择从源码编译。 1. **克隆 ONNX Runtime 源码仓库** 使用 Git 将 ONNX Runtime 的源码拉取下来： ```bash git clone https://github.com/microsoft/onnxruntime.git cd onnxruntime ``` 2. **安装 CMake 和其他必要工具** 默认情况下，Ubuntu 18.04 提供的 CMake 版本较低 (3.10)，因此需要手动升级到更高版本。例如，安装 CMake 3.26.4 可按以下步骤执行： - 下载对应版本的压缩包： ```bash wget https://github.com/Kitware/CMake/releases/download/v3.26.4/cmake-3.26.4-linux-x86_64.tar.gz tar -xf cmake-3.26.4-linux-x86_64.tar.gz ``` - 创建软链接以便全局调用： ```bash ln -sf $(pwd)/cmake-3.26.4-linux-x86_64/bin/* /usr/bin/ ``` 3. **设置编译参数** 在根目录运行脚本来生成 Makefile 或 Ninja 构建文件： ```bash ./build.sh --config Release --use_openmp --parallel ``` 如果需要 GPU 支持，可加入额外标志 `--use_cuda`[^4]。 4. **完成编译与安装** 成功编译后，ONNX Runtime 库会被放置于 `./build/Linux/Release/` 路径下。将这些文件复制到标准路径即可： ```bash cp build/Linux/Release/*.so /usr/local/lib/ ldconfig ``` --- #### 测试 ONNX Runtime 功能 为了确认 ONNX Runtime 是否正常工作，可以用简单的 C++ 程序加载模型并推理。以下是一个示例代码片段： ```cpp #include "onnxruntime_cxx_api.h" #include <iostream> int main() { Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test"); Ort::SessionOptions session_options; Ort::Session session(env, "./model.onnx", session_options); std::vector<int64_t> input_node_dims{1, 3, 224, 224}; size_t tensor_size = 1 * 3 * 224 * 224; float* float_array = new float[tensor_size]; memset(float_array, 0, sizeof(float) * tensor_size); Ort::Value input_tensor = Ort::Value::CreateTensor<float>(input_node_dims.data(), float_array, tensor_size, allocator_info); const char* input_names[] = {"images"}; const char* output_names[] = {"output"}; auto output_tensors = session.Run( Ort::RunOptions{}, input_names, &input_tensor, 1, output_names, 1); delete[] float_array; } ``` 上述程序展示了如何初始化环境、创建张量输入数据，并最终获得预测结果[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值