tensorRT和onnx效率比较

已于 2025-02-07 13:35:22 修改
阅读量423 收藏
点赞数 8
CC 4.0 BY-SA版权
文章标签： c# python 软件工程
于 2025-02-07 12:00:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wanglele2010/article/details/145492156

总体来说还是tensorRT效率高很多，除开第一次占的时间长些，其余完胜！，测试结果如图所示：

pytorch 38 对tensorRT、openvino、onnxruntime（fp32、fp16）推理速度进行对比
a486259的博客
04-17 4991
tensorRT与openvino部署模型有必要么？本博文对tensorRT、openvino、onnxruntime推理速度进行对比，分别在vgg16、resnet50、efficientnet_b1和cspdarknet53四个模型进行进行实验，对于openvino和onnxruntime还进行了cpu下的推理对比。对比囊括了fp32、fp16两种情况。在float32下通过实验得出：openvino GPU < onnxruntime CPU
RT-DETR目标检测onnxruntime和tensorrt推理
taifyang的博客
10-15 721
使用ultralytics 工程（
一文玩转tensorrt onnx+tensorrtx
qq_34809969的博客
06-12 5585
文章目录前言一、浅谈tensorrt二、tensorrtx的使用学习轨迹1.初出茅庐2.读入数据总结 前言 本文主要是针对onnx部署方式和tensorrtx（通过tensorrt网络定义API实现网络）两种方式进行对比，特别是刚入坑的小伙伴不知道用哪种方式更合适，更合理时，本文或许能够帮你捋清整个tensorrt的学习思路。 提示：这不是开往幼儿园的车，请各位坐稳抓紧了。 一、浅谈tensorrt 能有兴趣看这篇文章的我想或多或少对tensorrt有所了解，我不知道大家是因为什么了解到的tensor.
OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测
qq_18236971的博客
07-28 5106
cpu选择onnxruntime或者dnn都可以,建议选择ort.gpu选择tensorrt,如果有兼容需求就只能选择onnxruntime了.不得不说,gpu推理上TRT把ORT薄纱了,不需要warm-up,对工业生产环境非常友好,因为在实际生产环境中,都不是实时推理,而是有间隔的推理,ORT在一段间隔时间后cuda性能会有所衰减,当然也可能是我还没摸透ort这个框架,欢迎大佬指正.
pytorch，onnx和tensorrt 的速度对比
热门推荐
ltochange的博客
09-23 1万+
onnx Open Neural Network Exchange (ONNX）是微软和Facebook携手开发的开放式神经网络交换工具。为人工智能模型(包括深度学习和传统ML)提供了一种开源格式。它定义了一个可扩展的计算图模型，以及内置运算符和标准数据类型。目前主要关注推断所需的功能。 ONNX之于机器学习模型就像JPEG之于图像或MPEG之于视频。你可以使用pytorch，tensorflow或者其他深度学习的框架来训练你的模型，最后都可以转成onnx模型. ONNX就想是不同模型之间的桥梁 ONNX
深度学习图像处理项目：ONNX与TensorRT模型推理性能对比分析
最新发布
gitblog_00901的博客
06-01 302
深度学习图像处理项目：ONNX与TensorRT模型推理性能对比分析 概述 在深度学习模型部署过程中，模型格式转换和推理引擎的选择直接影响着最终部署的性能。本文将基于深度学习图像处理项目中的一个典型示例，详细解析如何将PyTorch模型转换为ONNX格式，再进一步转换为TensorRT引擎，并对比两者的推理结果。 技术背景 ONNX与TensorRT简介 ONNX（Open Neural Netw...
tensorrt在不同batchsize下的性能对比
大鱼的博客
01-19 7681
tensorrt利用GPU进行加速，天然的GPU是适合并行计算，因此加大batchsize是优化tensorrt常见的方式之一 tensorrt默认是batchsize=1，接下来做几个实验进行观察 模型是直接下载的这个网站的onnx文件 拿到onnx文件后，我们需要转换成tensorrt的引擎文件 /opt/TensorRT-7.1.3.4/bin/trtexec --onnx=ctdet_coco_dlav0_512.onnx --saveEngine=ctdet_coco_dlav0_512
一文读懂 ONNX、TensorRT、OpenVINO部署框架
qkh1234567的博客
09-24 3043
模型部署以加速为最终目的，首先就会抛弃易用性。这里特指静态图，在固定的范围内做极致的优化。除了模型上的优化，不同硬件厂商更会在贴近不同硬件上做各种底层上的优化。以获得在特定芯片上极致的性能。请期待后续部署教程吧～读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
RT-DETR~onnxruntime部署
whaosoft143ai的博客
12-30 2071
在上一篇文章《AI模型部署 | onnxruntime部署YOLOv8分割模型详细教程》中我介绍了如何使用onnxruntime框架来部署。每个目标的坐标信息都是做了归一化的，只要乘以原始图像的尺寸就可以把坐标恢复到在原始图像中的大小。前面我们打印了模型的输入输出属性，可以知道模型只有一个输出分支，所以只要取。工具对模型进行简化，否则生成的模型有一大堆零碎的算子，看起来就很麻烦。从上面的打印信息可以知道，模型有一个尺寸为。下载使用，本文使用的模型为。从前文知道模型输出的维度为。，那么导出模型的时候会把。
[转]RT-DETR推理详解及部署实现-优快云博客
chinagudujian的专栏
01-04 4899
是由 Baidu 提出的基于 transformer 的端到端实时检测器，本篇文章主要分享博主在实现 RT-DETR 推理和部署时做的一些尝试，不涉及任何的原理性分析。若有问题欢迎各位看官批评指正😄博主在这里针对 RT-DETR 的预处理和后处理做了简单分析，同时与大家分享了 C++ 上的实现流程，目的是帮大家理清思路，更好的完成后续的部署工作😄。
YOLOv5+TensorRT/OnnxRuntime+Visual Studio+CmakeLists实现推理
04-25
本项目旨在利用TensorRT和OnnxRuntime这两款高效的推理引擎，在C++环境中，特别是在Visual Studio集成开发环境下，对YOLOv5模型进行优化部署。 TensorRT是NVIDIA公司推出的一种高性能的深度学习推理（Inference）...
可投入生产的 YOLO8 分割部署，具有 TensorRT 和 ONNX 对 CPU,GPU 的支持，包括 Unitlab Annotate 的 AI 模型集成指导 .zip
11-26
YOLOv8 分割部署（TensorRT 和 ONNX）此存储库使用 TensorRT 和 ONNX 为 YOLO8 分割提供可用于生产的部署解决方案。它旨在提供全面的指南和工具包，用于部署 Ultralytics 的最先进的 (SOTA) YOLO8-seg 模型，支持 ...
算法部署-使用TensorRT+ONNXRuntime部署CLRNet算法-优质算法部署项目实战.zip
10-20
通过本项目的学习，你将掌握如何利用TensorRT和ONNXRuntime这两个强大的工具来部署一个高性能的CLRNet算法，这对于从事深度学习和计算机视觉领域的工程师和技术人员来说，是一个不可多得的学习和参考机会。...
算法部署-使用TensorRT+ONNX+Pytorch部署DeepLabV3路面分割算法-优质算法部署项目实战.zip
10-20
在当前人工智能领域，深度学习算法的应用越来越广泛，其中图像分割作为一项重要的技术，在自动驾驶、医疗...随着技术的不断发展，未来开发者们还将探索更多的优化策略和工具，以进一步提升模型的部署效率和应用范围。
RT-DETR模型导出与推理
weixin_53895623的博客
12-21 2534
本文介绍将RT-DETR的模型训练结果导出为onnx权重文件，并利用该权重文件进行模型推理。
rtdetr的onnx推理
weixin_62918638的博客
04-15 166
【代码】rtdetr的onnx推理。
实战YOLO V5推演（TensorRT版本 C++）
weixin_40293999的博客
12-07 6222
python不好用么，为什么还要转C++；yolov5的export.py 已经实现在python端的模型转化了啊？不需要c++的可以看这个《【深度学习】目标检测 yolov5模型量化安装教程以及转ONXX，torchscript，engine和速度比较一栏表》C++的学习曲线那么陡峭，性能在服务器端不如go，所以为什么不是go？
onnx和pytorch，tensorrt 推理速度对比GPU CPU
hllyzms的博客
08-09 7414
通常我们在训练模型时可以使用很多不同的框架，比如有的同学喜欢用Pytorch，有的同学喜欢使用TensorFLow，也有的喜欢MXNet，以及深度学习最开始流行的Caffe等等，这样不同的训练框架就导致了产生不同的模型结果包，，而且同一个框架比如tensorflow不同的版本之间的差异较大， 为了解决这个混乱问题，这个组织联合 Facebook, MicroSoft等公司制定了，这个标准叫做，所有其他框架产生的模型包 (.pth,.pb) 都可以转换成这个标准格式，转换成这个标准格式后，就可以。......
YOLO模型导出（‘onnx‘, ‘torchscript‘, ‘tensorflow‘）等其他格式详解
m0_67309719的博客
01-30 1681
yolo模型输出详解
TensorRT和onnx runtime
02-13
### TensorRT 和 ONNX Runtime 的区别 #### 性能差异 TensorRT 主要专注于通过优化神经网络模型来提高推理速度和效率，尤其擅长处理大规模并行计算任务。该工具能够将浮点运算转换成更高效的整数运算，并利用 NVIDIA GPU 的硬件特性实现最佳性能[^3]。 相比之下，ONNX Runtime 不仅提供了良好的跨平台支持，而且在多种设备上均表现出不错的执行效能。尽管可能不如 TensorRT 那样极致追求单个特定硬件上的最优表现，但在通用性和灵活性方面具有明显优势[^4]。 #### 模型支持情况 对于模型的支持范围来说，两者都允许导入来自多个主流深度学习框架训练得到的模型。然而，由于 TensorRT 更加侧重于 CUDA 平台下的高性能部署，因此它主要适用于那些可以直接导出至 PTT 或其他兼容格式的预训练模型；而对于一些较为复杂的架构，则需额外编写自定义层以完成移植工作。 另一方面，ONNX 成为了连接不同AI生态系统的桥梁之一，使得基于此标准构建的应用程序能够在众多环境中无缝切换使用。这意味着几乎所有流行的机器学习库都可以方便地将其产出物转为 .onnx 文件形式供 ONNX Runtime 解析运行，从而极大地简化了多端口间的迁移过程[^1]。 #### 适用场景 鉴于上述特点，在实际应用中可以根据具体需求选择合适的技术方案： - 如果目标环境配备有强大的NVIDIA显卡资源，并且希望获得尽可能高的吞吐率以及最低延迟的话，那么采用 TensorRT 可能会是一个更好的选项； - 当面临异构计算节点集群或者需要快速原型验证时，考虑到易用性与广泛的适配能力，选用 ONNX Runtime 显得更为合理。 ```python import onnxruntime as ort import numpy as np # 创建一个简单的输入数据用于测试 input_data = np.array([[1.0, 2.0]], dtype=np.float32) # 初始化SessionOptions对象设置参数 sess_options = ort.SessionOptions() sess_options.intra_op_num_threads = 1 sess_options.inter_op_num_threads = 1 # 加载ONNX模型文件 model_path = "example.onnx" ort_session = ort.InferenceSession(model_path, sess_options=sess_options) # 获取模型输入名称列表 input_name = ort_session.get_inputs()[0].name # 执行前向传播获取预测结果 outputs = ort_session.run(None, {input_name: input_data}) print(outputs) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农小乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值