yolov5-训练好的模型部署的几种方式-ONNX

已于 2024-05-20 16:19:04 修改
阅读量5k 收藏 23
点赞数 1
CC 4.0 BY-SA版权
分类专栏： halcon3d PCL点云处理 深度神经网络 文章标签： YOLO C# python
于 2023-07-27 10:29:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/linux_huangyu/article/details/131954396
本文介绍了如何将使用Python训练的YOLOv5模型转换为ONNX格式，并在C#环境中进行部署。通过加载ONNXRuntime库，详细阐述了在.NET上运行模型的步骤，包括CPU和GPU推测，并解决GPU推测时可能出现的cudnn错误。此外，还提到了DirectML推测速度可能更快。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ONNX，即 Open Neural Network Exchange ，是微软和 Facebook 发布的一个深度学习开发工具生态系统，旨在让 AI 开发人员能够随着项目发展而选择正确的工具。

ONNX 所针对的是深度学习开发生态中最关键的问题之一，在任意一个框架上训练的神经网络模型，无法直接在另一个框架上用。开发者需要耗费大量时间精力把模型从一个开发平台移植到另一个。因此，如何实现不同框架之间的互操作性，简化从研究到生产的路径，成为了重中之重。

三我们在实际的项目中，使用python环境训练出的权重文件（pt）需要应用到我们的上位机程序中（NET），上位机是使用C#开发的

在实际的探索过程中ONNX这种部署方式进入了我们的视野
在这里插入图片描述

在NuGet中，有几个onnx部署到NET环境中的库

了解本专栏 订阅专栏 解锁全文 超级会员免费看
YOLOv5模型的部署与优化
sybh的博客
10-01 1733
本文将介绍如何将YOLOv5模型部署到不同平台，包括本地服务器、云端服务和移动设备，并讨论模型量化和优化技术，以提高模型的性能和效率。将量化后的模型部署到移动设备上，可以使用移动端深度学习框架，如TensorFlow Lite、Core ML或使用移动端推理库，如Android的TensorFlow Lite推理库或iOS的Core ML推理库。模型量化是将模型的权重和激活值从浮点数转换为低精度的整数或定点数的过程，以减少模型的内存占用和计算量。模型剪枝是去除模型中冗余权重的过程，以减小模型的大小。
1.1 yolov5 使用 onnx模型
11-06 1587
首先需要有一个python的虚拟环境，需要下载 Anaconda3-2024.10-1-Windows-x86_64.exe。coco.names 的文件内容放在下面了 ，自己创建。下载在写运行另外一个python文件来做识别。下载完成后，在anaconda的控制台运行。这样就初始化完成生成了 onnx模型文件。下来就是运行python代码。运行下来的3条命令，
yolov5训练以及模型onnx转换
10-13
目标检测工程备份
使用YOLO5—V7.0训练模型并将训练结果模型.pt转成.onnx测试
boys_w的博客
04-26 4211
使用YOLO5 --v5.0 的 export将训练好的.pt模型文件转成.onnx文件出现各种错误虽然转出了onnx文件，但是并不能检测出目标物体。经过各种精神折磨后发现是版本问题 ，所以在这里对v7.0版本的使用做个笔记（重点是使用export文件转出onnx文件 并且在detect文件里使用onnx文件检测onnx文件）。吧啦吧啦又说了一堆 ​​​，（心里自我安慰都是为了完成任务。后面应该会研究一下onnx的部署吧。吐槽：大一的自己如此忙碌。
全网最细-深度学习模型-yolov5本地部署及使用
最新发布
weixin_58148440的博客
05-15 1162
本文详细介绍了YOLOv5模型的部署与使用，适用于工厂、工地等场景的智能识别任务。文章首先强调了硬件要求，建议使用NVIDIA显卡并确保电脑具备GPU。接着，逐步指导了软件安装（PyCharm 2023.1和Anaconda 2021.11版本）及环境搭建，包括PyTorch和YOLOv5的配置。此外，还介绍了LabelImg工具的安装与使用，用于图像标注。文章提供了完整的YOLOv5文件，并强调每一步操作必须严格复现。最后，简要提及了模型的训练与结果分析，具体细节将在后续视频中详细讲解。
Yolov5_onnx
06-23
包含Yolov5的四个pt权重，对应转换为onxx的Yolov5s.onnx、Yolov5m.onnx、Yolov5l.onnx、Yolov5x.onnx共4个文件。 此外完整详细的Yolov5网络结构的讲解可参考江大白的博文。
深度学习模型部署(三)Onnxruntime部署yolov5实战
qq_45983373的博客
03-10 2396
使用onnxruntime推理yolov5实战
YOLOV5-ONNX 模型推理
A12444w的博客
05-05 1421
在深度学习领域，YOLO（You Only Look Once）系列模型因其出色的实时物体检测性能而广受欢迎。随着ONNX（Open Neural Network Exchange）格式的普及，将YOLOv5模型转换为ONNX格式，使其能在多种平台和框架间无缝运行，成为了提高部署灵活性和效率的关键步骤。本文将指导你完成使用YOLOv5-ONNX模型进行物体检测的全过程，从环境搭建到实际推理。源码在yolov5-master中可找到。YOLOv5-ONNX模型文件。
Yolov5Wpf:使用ML.NET部署YOLOV5的ONNX模型
03-14
约洛夫5Wpf 使用ML.NET部署YOLOV5的ONNX模型
C++使用onnxruntime部署yolov11-cls图像分类onnx模型源码.7z
10-07
本篇将详细介绍如何使用C++结合onnxruntime部署一个应用于图像分类的yolov11-cls模型，并提供相应的源码和运行环境信息。 首先，要理解yolov11-cls模型。YOLO（You Only Look Once）是一种流行的目标检测算法，它以...
YOLOV5-ti-lite 目标检测模型
02-21
YOLOV5-ti-lite 目标检测模型 该存储库基于 ultralytics/yolov5。根据 Ultralytics 的官方自述文件，YOLOV5 是一个目标检测器系列，与 YOLOV3 有以下主要区别： Darknet-csp 骨干网而不是普通的暗网。将复杂性降低 ...
C# winform部署yolov8-obb旋转框检测onnx模型演示源码
10-05
在深入探讨C# winform部署yolov8-obb旋转框检测onnx模型演示源码的知识点之前，首先需要了解几个关键概念和背景信息。这些内容包括：C# winform、深度学习模型部署、YOLOv8和ONNX模型、以及旋转框检测。 C# winform...
yolo-使用onnxruntime部署yolov5目标检测算法.zip
03-02
在本项目中，我们主要探讨如何使用ONNXRuntime来部署YOLOv5目标检测算法。YOLO（You Only Look Once）是一种高效的实时对象检测系统，而YOLOv5是其最新版本，以其卓越的性能和易用性受到广泛关注。ONNXRuntime是一个...
onnx推理
ZhouCV的博客
07-28 330
【代码】onnx推理。
详细介绍 Yolov5 转 ONNX模型 + 使用ONNX Runtime 的 Python 部署（包含官方文档的介绍）
热门推荐
qq_22487889的博客
12-01 4万+
目前在做模型部署的工作，使用YOLO开始学起，先学会ONNX以后在学习各种边缘平台的部署。
yolov5 onnx的部署文件（主要是onnx文件的使用）
Tianwen_running的博客
03-09 511
我只是作了一定的改动，放到这里是方便自己后期落地使用。
Yolov5 ONNX Runtime 的 Python 部署
weixin_45824067的博客
04-19 2636
这里使用的yolov5 6.2，使用export.py很方便地得到onnx格式的模型。然后用onnxruntime推理框架在Python上进行部署。主要是为了测试模型的准确，整个代码分为四个部分：1、对输入进行预处理；2、onnxruntime推理得到输出；3、对输出进行后处理 4、画预测框。代码的难点是nms处理。代码尚存在的缺陷是，将输入图像处理至模型输入尺寸大小时没有使用等比例缩放，对效果可能有点影响。的最终是用 C++ 部署，从而部署在嵌入式设备等。代码中有详细注释，不懂的可以在下面留言。
yolov5(v7.0版本)部署为onnx，openvino，TensorRT等模型并运行，踩坑分享(202303版，包含TensorRT安装)
qq_42160143的博客
03-29 6769
yolov5(v7.0版本)部署为onnx，openvino，TensorRT等模型并运行，踩坑分享(202303版，包含TensorRT安装)
使用ONNXRuntime部署YOLOV5(c++)
weixin_55415374的博客
06-27 1361
【代码】使用ONNXRuntime部署YOLOV5(c++)
上位机项目怎么结合深度学习
01-21
### 如何在上位机项目中应用和集成深度学习框架及模型 #### 选择合适的深度学习框架 为了成功地将深度学习技术应用于上位机项目，首先要选择一个适合项目的深度学习框架。常用的框架有TensorFlow、PyTorch、Keras等。这些框架提供了丰富的API和支持工具，能够简化开发过程并提高效率。 对于特定硬件平台如Orange Pi 5 (RK3588s)，可以考虑使用支持该平台的专用推理引擎，例如RKNN Toolkit[^2]。这有助于优化性能，并确保最佳运行效果。 #### 准备训练好的模型 一旦选择了合适框架，则需准备已经过充分训练且表现良好的模型。如果现有模型是以其他格式保存（比如ONNX），则可能需要将其转换为目标框架兼容的形式。由于ONNX作为一种通用交换格式，可以在不同框架间轻松迁移模型。 #### 构建预测管道 构建完整的预测流程涉及以下几个方面： - **加载预训练模型**：利用选定框架提供的接口读取之前保存下来的模型文件。 - **前处理输入数据**：根据模型需求调整图像尺寸、归一化像素值以及排列通道顺序等操作，使输入符合预期标准。 - **执行推断运算**：调用相应的方法完成实际计算工作，获取输出结果。 - **后处理输出信息**：解析原始输出得到易于理解和使用的结论；如果是分类任务可返回类别标签及其置信度分数；若是目标检测问题则提供边界框坐标及相关属性。 以下是Python环境下基于PyTorch的一个简单例子： ```python import torch from torchvision import transforms, models def load_model(model_path): model = models.resnet18(pretrained=False) checkpoint = torch.load(model_path,map_location=torch.device('cpu')) model.load_state_dict(checkpoint['model']) return model.eval() transform_pipeline = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), ]) image_tensor = transform_pipeline(image).unsqueeze_(0) with torch.no_grad(): output = loaded_model(image_tensor) _, predicted_class_idx = torch.max(output.data, 1) predicted_label = class_names[predicted_class_idx.item()] print(f'Predicted Label: {predicted_label}') ``` #### 性能优化策略 当面对资源受限的情况时，可以通过多种方式提升系统的响应速度与功耗特性： - 实施剪枝措施去除冗余权重节点以缩减规模； - 利用专门设计的轻量化网络架构替代传统大型复杂结构，在保持较高准确率的前提下显著减轻负担[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黄晓魚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值