Onnxruntime之图像分类（c++）

已于 2022-09-20 17:23:11 修改
阅读量1.4k 收藏 1
点赞数
分类专栏： # onnxruntime模型部署 文章标签： c++ 开发语言
于 2022-09-07 21:02:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42990464/article/details/126753585
版权

文章目录

介绍

ONNX 是神经网络模型互操作性的开放标准格式。它还有一个ONNX Runtime，能够使用不同的执行提供程序（例如 CPU、CUDA、TensorRT 等）执行神经网络模型。虽然有很多使用 ONNX Runtime Python API 运行推理的示例，但使用的示例ONNX 运行时 C++ API 非常有限。

在这篇博文中，我想讨论如何使用 OpenCV C++ API 进行图像处理并使用 ONNX Runtime C++ API 运行推理。

环境准备

  • opencv
  • onnxruntime-gpu
  • onnxruntime-gpu-tensorrt

手动编译onnxruntime参考这里。

如果不需要使用tensorrt的话，建议使用官方release的库
举个例子，当前环境为Ubuntu18.04+GPU，下载

了解本专栏 订阅专栏 解锁全文 超级会员免费看
c++ 使用onnx推理
qq_33619359的博客
11-25 1794
假设你已经安装好onnx，并且成功配置。这章说的是加载onnx并推理的过程，输入的input已经是处理过后的。下面举几个例子。
c++ 自定义网络多输入onnxruntime实现
weixin_43836242的博客
05-09 744
c++ 自定义网络多输入onnxruntime实现，输出vector的值，运行结果打印
【深度学习】【图像分类】【OnnxRuntime】【C++】ResNet模型部署
yangyu0515的博客
09-11 1981
【深度学习】【图像分类】【OnnxRuntime】【C++】ResNet模型部署
初试基于ONNX Runtime的C++部署pytorch深度学习模型（典型图像分类模型ConvNeXt为例）
weixin_46555922的博客
08-15 1286
最近开始接触深度学习模型部署相关的知识，主要是pytorch构建的模型如何部署在C++上使用这方面的。将这些工作整理成一个文档，供大家参考
onnxruntime 推理分类模型 以resnet为例
二分掌柜的
07-17 568
flyfish
利用OnnxRuntime进行torch模型部署(C++版)——以分类网络为例
z240626191s的博客
12-22 1979
近年来，ONNX（Open Neural Network Exchange）格式的兴起为解决这一问题提供了有效的途径。ONNX是一种开放标准，旨在使不同深度学习框架之间能够共享模型。通过将模型导出为ONNX格式，我们可以轻松地在不同框架和平台上进行部署和推理。而ONNX Runtime，作为微软开源的高性能推理引擎，更是为模型的部署提供了强大的支持。本文将重点介绍如何利用ONNX Runtime在C++环境中部署PyTorch模型。，而。通过结合这两者的优势，我们可以实现深度学习模型的高效部署和推理。
onnxruntime加载pytorch图像分类模型
ouening的博客
10-23 1711
从pytorch模型导出onnx模型，可以参考笔者的前一篇博文https://blog.youkuaiyun.com/ouening/article/details/109245243 使用netron查看onnx模型结构，如下图： 注意输入输出的名称name以及数据类型和维度type 程序 import numpy as np # we're going to use numpy to process input and output data import onnxruntime # to inf.
C++使用onnxruntime部署yolov11-cls图像分类onnx模型源码.7z
10-07
本篇将详细介绍如何使用C++结合onnxruntime部署一个应用于图像分类的yolov11-cls模型，并提供相应的源码和运行环境信息。 首先，要理解yolov11-cls模型。YOLO（You Only Look Once）是一种流行的目标检测算法，它以...
使用 C++ 和 ONNX Runtime 框架对 YOLOv11-CLS 图像分类模型进行部署（包含详细的完整的程序和数据）
10-14
主要内容：介绍了使用 C++ 结合 ONNX Runtime 来部署YOLOv11-CLS图像分类模型的过程。项目涵盖数据准备、代码示例（含详解）、模型加载以及从图片预处理到最终预测结果展示的整体流程。文中强调了系统的高性能表现，...
基于paddleocr+onnxruntime实现车牌识别C++源码+模型.zip
05-09
通过以上步骤，我们可以构建一个基于PaddleOCR和ONNXRuntime的C++车牌识别系统，实现对车辆图像中的车牌号码进行高效准确的自动识别。这个项目不仅涉及深度学习模型的使用，还涵盖了C++编程、图像处理和高性能计算等...
ONNX Runtime部署ImageNet预训练图像分类模型（同济子豪兄学习笔记）
吃葡萄不吐葡萄皮
09-13 659
使用 ONNX Runtime 推理引擎，载入 ImageNet 预训练图像分类 onnx 模型，预测摄像头实时画面。只需把onnx模型文件发到部署硬件上，并安装 ONNX Runtime 环境，用下面几行代码就可以运行模型了。同济子豪兄：https://space.bilibili.com/1900783。同济子豪兄：https://space.bilibili.com/1900783。本代码需在连接摄像头的本地运行，不能在云GPU平台运行。本代码需在连接摄像头的本地运行，不能在云GPU平台运行。
C++环境下onnxruntime推理自定义模型
m0_57254760的博客
04-29 5698
代码是一个使用ONNX Runtime C++ API执行图像处理任务的示例，具体来说是通过一个预训练的U-Net模型（假设）对输入图像进行某种形式的语义分割
【深度学习】【图像分类】【OnnxRuntime】【Python】VggNet模型部署
yangyu0515的博客
09-13 1112
【深度学习】【图像分类】【OnnxRuntime】【Python】VggNet模型部署
MobileNetv3图片分类
zhangyan的博客
06-07 673
mobilenetv3 for 图片分类
C#使用OnnxRuntime进行Resnet50分类（支持GPU）
gaooolianggg的专栏
07-19 5540
在深度学习部署环节中，基于C#的部署资料很少。本文展示了如何使用C#来部署一个基于Resnet50的图像分类任务。 本文的代码来自OnnxRuntime自带的示例。这里我已经把代码和深度学习模型文件整理好了，可以直接下载： 代码及深度学习模型onnx文件下载连接 首先，我们需要配置GPU运行环境（如果使用CPU可以省略这一步骤）： 1. 安装Nvidia显卡驱动、CUDA、cudnn。并且CUDA和Cudnn的版本最好满足对应关系，否则...
ONNX Runtime介绍
网络资源是无限的
07-23 1万+
ONNX Runtime介绍
onnx模型部署(一) ONNXRuntime
热门推荐
luoganttcc的博客
12-27 1万+
    通常我们在训练模型时可以使用很多不同的框架，比如有的同学喜欢用 Pytorch，有的同学喜欢使用 TensorFLow，也有的喜欢 MXNet，以及深度学习最开始流行的 Caffe等等，这样不同的训练框架就导致了产生不同的模型结果包，在模型进行部署推理时就需要不同的依赖库，而且同一个框架比如tensorflow 不同的版本之间的差异较大， 为了解决这个混乱问题，　LF AI 这个组织联合 Facebook, MicroSoft等公司制定了机器学习模型的标准，这
ONNX Runtime使用简单介绍
jiugeshao的专栏
05-01 9795
前面系列博客中有用tensorRT、OpenVINO加速模型推理 TensorRT加速方法介绍（python pytorch模型）_竹叶青lvye的博客-优快云博客_tensorrt加速 TensorRT加速模型推断时间方法介绍（c++ pytorch模型）_竹叶青lvye的博客-优快云博客 OpenVINO使用介绍_竹叶青lvye的博客-优快云博客_openvino resnet在 这边再简单提下ONNX Runtime的使用，上面博客中只是将ONNX模型作为一个中间转换模型用，可能..
C++ onnxruntime 推理例子
二分掌柜的
09-21 3605
flyfish
ubuntu onnxruntime-gpu+c++部署
最新发布
12-29
### 部署ONNX Runtime GPU版本于Ubuntu上的C++项目 #### 安装依赖项 为了成功部署ONNX Runtime GPU版本，在Ubuntu环境中需安装必要的软件包。这包括但不限于OpenCV用于图像处理，以及特定版本的CUDA以支持GPU加速功能[^2]。 对于CUDA的支持，确保已正确安装兼容版本，如11.6，并验证环境变量`PATH`和`LD_LIBRARY_PATH`已经包含了CUDA的相关路径。此外，还需确认系统能够识别并利用NVIDIA显卡资源。 #### 下载与编译ONNX Runtime源码 获取官方发布的适用于Linux系统的预构建二进制文件可能无法满足所有需求；因此建议从GitHub仓库克隆最新稳定版源代码，并按照官方文档指导完成针对GPU特性的定制化编译过程。此过程中应启用相应的选项来激活CUDA支持： ```bash git clone https://github.com/microsoft/onnxruntime.git cd onnxruntime ./build.sh --config Release --use_cuda --cuda_home /usr/local/cuda --cudnn_home /usr/local/cuda ``` 上述命令假设CUDA工具链位于默认位置(/usr/local/cuda)，如有不同则需调整相应参数值[^1]。 #### 设置CMakeLists.txt配置 创建一个新的C++工程项目时，应在项目的根目录下编写或修改`CMakeLists.txt`文件，以便集成ONNX Runtime作为外部库的一部分。具体操作如下所示： - 同样地，把链接所需的静态/动态库所在的位置指派给`${ONNXRUNTIME_LIBS}`； - 使用`include_directories()`函数引入这些定义好的路径，从而让编译器知道去哪里查找所需声明和实现[^3]。 ```cmake set(ONNXRUNTIME_INCLUDE_DIRS "/path/to/onnxruntime/include") set(ONNXRUNTIME_LIBS "/path/to/onnxruntime/lib") include_directories( ${catkin_INCLUDE_DIRS} ${OpenCV_INCLUDE_DIRS} ${ZED_INCLUDE_DIRS} ${CUDA_INCLUDE_DIRS} ${ONNXRUNTIME_INCLUDE_DIRS} ) target_link_libraries(your_target_name PRIVATE ${ONNXRUNTIME_LIBS}) ``` 请注意替换实际路径至本地安装的具体地址。 #### 编写推理程序 最后一步是在应用程序中加载训练好的YOLOv8模型（或其他任何基于ONNX格式的目标检测网络），并通过调用API执行前向传播计算获得预测结果。下面给出了一段简单的示例代码片段展示如何初始化Session对象并传入输入张量数据结构： ```cpp #include "onnxruntime_cxx_api.h" // ... other includes ... Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test"); Ort::SessionOptions session_options; session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_EXTENDED); std::vector<const char*> model_input_names{"images"}; std::vector<std::vector<int64_t>> input_node_dims{ {1, 3, 640, 640}}; auto memory_info = Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault); Ort::Value input_tensor = Ort::Value::CreateTensor<float>(memory_info, /*data_ptr=*/nullptr, /*size=*/input_size, &input_node_dims.at(0), /*dims_count=*/4); Ort::Session session(env, "./model.onnx", session_options); auto output_tensors = session.Run(Ort::RunOptions{nullptr}, &model_input_names.front(), &input_tensor, /*num_inputs=*/1, /*output_names=*/&model_output_names.front(), /*num_outputs=*/static_cast<size_t>(model_output_names.size())); ``` 这段代码展示了基本框架，但具体的细节可能会因所使用的模型而异，请参照相关资料进一步完善逻辑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

点PY

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值