yolov5-训练好的模型部署的几种方式-ONNX

已于 2024-05-20 16:19:04 修改
阅读量5k 收藏 23
点赞数 1
CC 4.0 BY-SA版权
分类专栏： halcon3d PCL点云处理 深度神经网络 文章标签： YOLO C# python
于 2023-07-27 10:29:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/linux_huangyu/article/details/131954396
本文介绍了如何将使用Python训练的YOLOv5模型转换为ONNX格式，并在C#环境中进行部署。通过加载ONNXRuntime库，详细阐述了在.NET上运行模型的步骤，包括CPU和GPU推测，并解决GPU推测时可能出现的cudnn错误。此外，还提到了DirectML推测速度可能更快。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ONNX，即 Open Neural Network Exchange ，是微软和 Facebook 发布的一个深度学习开发工具生态系统，旨在让 AI 开发人员能够随着项目发展而选择正确的工具。

ONNX 所针对的是深度学习开发生态中最关键的问题之一，在任意一个框架上训练的神经网络模型，无法直接在另一个框架上用。开发者需要耗费大量时间精力把模型从一个开发平台移植到另一个。因此，如何实现不同框架之间的互操作性，简化从研究到生产的路径，成为了重中之重。

三我们在实际的项目中，使用python环境训练出的权重文件（pt）需要应用到我们的上位机程序中（NET），上位机是使用C#开发的

在实际的探索过程中ONNX这种部署方式进入了我们的视野
在这里插入图片描述

在NuGet中，有几个onnx部署到NET环境中的库

了解本专栏 订阅专栏 解锁全文 超级会员免费看
YOLOv5模型的部署与优化
sybh的博客
10-01 1733
本文将介绍如何将YOLOv5模型部署到不同平台，包括本地服务器、云端服务和移动设备，并讨论模型量化和优化技术，以提高模型的性能和效率。将量化后的模型部署到移动设备上，可以使用移动端深度学习框架，如TensorFlow Lite、Core ML或使用移动端推理库，如Android的TensorFlow Lite推理库或iOS的Core ML推理库。模型量化是将模型的权重和激活值从浮点数转换为低精度的整数或定点数的过程，以减少模型的内存占用和计算量。模型剪枝是去除模型中冗余权重的过程，以减小模型的大小。
1.1 yolov5 使用 onnx模型
11-06 1588
首先需要有一个python的虚拟环境，需要下载 Anaconda3-2024.10-1-Windows-x86_64.exe。coco.names 的文件内容放在下面了 ，自己创建。下载在写运行另外一个python文件来做识别。下载完成后，在anaconda的控制台运行。这样就初始化完成生成了 onnx模型文件。下来就是运行python代码。运行下来的3条命令，
yolov5训练以及模型onnx转换
10-13
目标检测工程备份
全网最细-深度学习模型-yolov5本地部署及使用
最新发布
weixin_58148440的博客
05-15 1865
本文详细介绍了YOLOv5模型的部署与使用，适用于工厂、工地等场景的智能识别任务。文章首先强调了硬件要求，建议使用NVIDIA显卡并确保电脑具备GPU。接着，逐步指导了软件安装（PyCharm 2023.1和Anaconda 2021.11版本）及环境搭建，包括PyTorch和YOLOv5的配置。此外，还介绍了LabelImg工具的安装与使用，用于图像标注。文章提供了完整的YOLOv5文件，并强调每一步操作必须严格复现。最后，简要提及了模型的训练与结果分析，具体细节将在后续视频中详细讲解。
Yolov5_onnx
06-23
包含Yolov5的四个pt权重，对应转换为onxx的Yolov5s.onnx、Yolov5m.onnx、Yolov5l.onnx、Yolov5x.onnx共4个文件。 此外完整详细的Yolov5网络结构的讲解可参考江大白的博文。
深度学习模型部署(三)Onnxruntime部署yolov5实战
qq_45983373的博客
03-10 2398
使用onnxruntime推理yolov5实战
YOLOV5-ONNX 模型推理
A12444w的博客
05-05 1422
在深度学习领域，YOLO（You Only Look Once）系列模型因其出色的实时物体检测性能而广受欢迎。随着ONNX（Open Neural Network Exchange）格式的普及，将YOLOv5模型转换为ONNX格式，使其能在多种平台和框架间无缝运行，成为了提高部署灵活性和效率的关键步骤。本文将指导你完成使用YOLOv5-ONNX模型进行物体检测的全过程，从环境搭建到实际推理。源码在yolov5-master中可找到。YOLOv5-ONNX模型文件。
Yolov5Wpf:使用ML.NET部署YOLOV5的ONNX模型
03-14
约洛夫5Wpf 使用ML.NET部署YOLOV5的ONNX模型
OpenCV ONNXRuntime部署yolov5-v6.1目标检测包含C++和Python源码+模型+说明.zip
05-02
在这个项目中，你将学习如何将训练好的模型转换为ONNX格式，然后使用ONNXRuntime进行推理。 8. **说明文档**: 提供的说明文档应该详细介绍了如何编译和运行代码，以及可能遇到的问题和解决方法。它可能是项目成功...
C++使用onnxruntime部署yolov11-cls图像分类onnx模型源码.7z
10-07
本篇将详细介绍如何使用C++结合onnxruntime部署一个应用于图像分类的yolov11-cls模型，并提供相应的源码和运行环境信息。 首先，要理解yolov11-cls模型。YOLO（You Only Look Once）是一种流行的目标检测算法，它以...
YOLOV5-ti-lite 目标检测模型
02-21
YOLOV5-ti-lite 目标检测模型 该存储库基于 ultralytics/yolov5。根据 Ultralytics 的官方自述文件，YOLOV5 是一个目标检测器系列，与 YOLOV3 有以下主要区别： Darknet-csp 骨干网而不是普通的暗网。将复杂性降低 ...
C# winform部署yolov8-obb旋转框检测onnx模型演示源码
10-05
在深入探讨C# winform部署yolov8-obb旋转框检测onnx模型演示源码的知识点之前，首先需要了解几个关键概念和背景信息。这些内容包括：C# winform、深度学习模型部署、YOLOv8和ONNX模型、以及旋转框检测。 C# winform...
onnx推理
ZhouCV的博客
07-28 330
【代码】onnx推理。
详细介绍 Yolov5 转 ONNX模型 + 使用ONNX Runtime 的 Python 部署（包含官方文档的介绍）
热门推荐
qq_22487889的博客
12-01 4万+
目前在做模型部署的工作，使用YOLO开始学起，先学会ONNX以后在学习各种边缘平台的部署。
yolov5 onnx的部署文件（主要是onnx文件的使用）
Tianwen_running的博客
03-09 515
我只是作了一定的改动，放到这里是方便自己后期落地使用。
Yolov5 ONNX Runtime 的 Python 部署
weixin_45824067的博客
04-19 2639
这里使用的yolov5 6.2，使用export.py很方便地得到onnx格式的模型。然后用onnxruntime推理框架在Python上进行部署。主要是为了测试模型的准确，整个代码分为四个部分：1、对输入进行预处理；2、onnxruntime推理得到输出；3、对输出进行后处理 4、画预测框。代码的难点是nms处理。代码尚存在的缺陷是，将输入图像处理至模型输入尺寸大小时没有使用等比例缩放，对效果可能有点影响。的最终是用 C++ 部署，从而部署在嵌入式设备等。代码中有详细注释，不懂的可以在下面留言。
yolov5(v7.0版本)部署为onnx，openvino，TensorRT等模型并运行，踩坑分享(202303版，包含TensorRT安装)
qq_42160143的博客
03-29 6772
yolov5(v7.0版本)部署为onnx，openvino，TensorRT等模型并运行，踩坑分享(202303版，包含TensorRT安装)
使用ONNXRuntime部署YOLOV5(c++)
weixin_55415374的博客
06-27 1361
【代码】使用ONNXRuntime部署YOLOV5(c++)
Yolov5 转 ONNX模型 + 使用ONNX Runtime的 C++ 部署（包含官方文档的介绍以及使用不同推理引擎作为ONNXRuntime后端）
qq_22487889的博客
12-12 1万+
ONNX Runtime (C++) 部署 yolov5s的模型，也可使用自己的模型
上位机项目怎么结合深度学习
01-21
### 如何在上位机项目中应用和集成深度学习框架及模型 #### 选择合适的深度学习框架 为了成功地将深度学习技术应用于上位机项目，首先要选择一个适合项目的深度学习框架。常用的框架有TensorFlow、PyTorch、Keras等。这些框架提供了丰富的API和支持工具，能够简化开发过程并提高效率。 对于特定硬件平台如Orange Pi 5 (RK3588s)，可以考虑使用支持该平台的专用推理引擎，例如RKNN Toolkit[^2]。这有助于优化性能，并确保最佳运行效果。 #### 准备训练好的模型 一旦选择了合适框架，则需准备已经过充分训练且表现良好的模型。如果现有模型是以其他格式保存（比如ONNX），则可能需要将其转换为目标框架兼容的形式。由于ONNX作为一种通用交换格式，可以在不同框架间轻松迁移模型。 #### 构建预测管道 构建完整的预测流程涉及以下几个方面： - **加载预训练模型**：利用选定框架提供的接口读取之前保存下来的模型文件。 - **前处理输入数据**：根据模型需求调整图像尺寸、归一化像素值以及排列通道顺序等操作，使输入符合预期标准。 - **执行推断运算**：调用相应的方法完成实际计算工作，获取输出结果。 - **后处理输出信息**：解析原始输出得到易于理解和使用的结论；如果是分类任务可返回类别标签及其置信度分数；若是目标检测问题则提供边界框坐标及相关属性。 以下是Python环境下基于PyTorch的一个简单例子： ```python import torch from torchvision import transforms, models def load_model(model_path): model = models.resnet18(pretrained=False) checkpoint = torch.load(model_path,map_location=torch.device('cpu')) model.load_state_dict(checkpoint['model']) return model.eval() transform_pipeline = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), ]) image_tensor = transform_pipeline(image).unsqueeze_(0) with torch.no_grad(): output = loaded_model(image_tensor) _, predicted_class_idx = torch.max(output.data, 1) predicted_label = class_names[predicted_class_idx.item()] print(f'Predicted Label: {predicted_label}') ``` #### 性能优化策略 当面对资源受限的情况时，可以通过多种方式提升系统的响应速度与功耗特性： - 实施剪枝措施去除冗余权重节点以缩减规模； - 利用专门设计的轻量化网络架构替代传统大型复杂结构，在保持较高准确率的前提下显著减轻负担[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黄晓魚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值