pytorch模型转为tensorrt engine的通用流程

最新推荐文章于 2025-03-20 14:33:10 发布

勤劳的凌菲

最新推荐文章于 2025-03-20 14:33:10 发布

阅读量728

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Deep Learning 文章标签： pytorch 人工智能深度学习

本文链接：https://blog.youkuaiyun.com/Suan2014/article/details/132181875

基本流程

pytorch模型->onnx模型->（onnx模型简化）->tensorrt模型

pytorch模型导出为onnx模型

dummy_input = torch.randn(50, 3, 1280, 1280, device='cuda') # 导出时推理输入
input_names = ["images"] # 输入名
output_names = ['num_dets', 'det_boxes']

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

勤劳的凌菲

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

机器学习笔记 - 基于百度飞桨PaddleSeg的人体分割模型以及TensorRT部署说明

学以致用知行合一

11-29

959

虽然Segment Anything用于图像分割的通用大模型看起来很酷（飞桨也提供分割一切的模型），但是个人感觉落地应用的时候心里还是更倾向于飞桨这种场景式的，因为需要用到一些人体分割的需求，所以这里主要是对飞桨高性能图像分割开发套件进行了解和使用，但是暂时不训练，因为搞数据集挺费劲。内置及最新发布HumanSeglite模型超轻量级人像分割模型，可支持移动端场景的实时分割。

【保姆级教程附代码】Pytorch (.pth) 到 TensorRT (.plan) 模型转化全流程

weixin_44212848的博客

04-03

2130

那么恭喜你的 .onnx 大概率是可以转化到 .plan 的！当然这里也有些坑，比如明明是显存不够错误，但日志里完全没提 oom，而是说节点问题。。。

参与评论您还未登录，请先登录后发表或查看评论

在Jetson转换ONNX模型为Engine文件

qq_45233572的博客

03-20

439

【代码】在Jetson转换ONNX模型为Engine文件。

Pytorch 转TensorRT5

12-21

知乎上，说的也不错： https://zhuanlan.zhihu.com/p/88318324 https://blog.youkuaiyun.com/qq_38003892/article/details/89314108 1.torch2trt https://www.ctolib.com/amp/NVIDIA-AI-IOT-torch2trt.html https://github.com/DocF/YOLOv3-Torch2TRT https://github.com/traveller59/torch2trt 像官方代码: https://github.com/NVIDIA-AI-IOT/to

Pytorch转TensorRT范例代码

柳鲲鹏

10-25

1万+

　　TensorRT官方文档说，/usr/src/tensorrt/samples/python/network_api_pytorch_mnist下有示例代码。实际上根本就没有。这里提供一个示例代码，供参考。　　这个范例的具体位置是：/usr/local/lib/python3.5/site-packages/tensorrt/examples/pytorch_to_trt #!/usr...

pytorch模型(.pth)转tensorrt模型(.engine)几种方式

热门推荐

小菜的博客

05-05

2万+

序言这篇文章总结了训练好的pytorch模型转成tensorrt模型部署的几种方式，转换原理流程大致如下：导出网络定义以及相关权重；解析网络定义以及相关权重；根据显卡算子构造出最优执行计划；将执行计划序列化存储；反序列化执行计划；进行推理值得注意的是第三点，可以看到tensorrt转换出来的模型实际上是和硬件绑定的，也就是在部署的过程中，如果你的显卡和显卡相关驱动软件（cuda、cudnn）发生了改变，那么模型就得需要重新做转换。一、trtexec trtexec是在tensorrt包

Pytorch模型转TensorRT模型部署（一.环境的搭建）

qq_42911863的博客

01-16

1047

AI模型部署的常见方案参考:在这里我们使用的是GPU的模型部署：pytorch->onnx->onnx2trt->tensorRT。

从Pytorch到TensorRT的转换和推理

xu.hyj

03-12

2080

在本文中我们使用pytorch自带的工具将pt模型转为onnx模型，并使用onnxruntime推理引擎进行推理。为了保证模型转换过程中精度，进行了精度对齐的小实验，证明转换前后的误差在1e-6这个级别，是可以忍受的。后续继续将onnx转为tensorRT进行部署，实现从pt–onnx–tensorRT这个部署路线。

pytorch模型tensorrt加速之-pth转onnx转trt，在推理trt模型测试模型速度

pyswt的博客

04-29

7306

首先需要安装两个必要的包tensorrt和torch2trt，tensorrt的话要在官网下载tar压缩包，建议下载tar包安装

pytorch深度学习模型推理和部署、pytorch&ONNX&tensorRT模型转换以及python和C++版本部署

a8598671的博客

01-22

1080

在pytorch框架下，可以很方便进行深度学习模型的搭建、训练和保存。当模型训练完成后，如何进行模型部署和推理是本文的重点。接下来以resnet模型为例，讲解下述部署和推理方法，并对比不同方法下的推理时间和精度：1）采用pytorch进行推理（python环境）2）采用onnx进行推理（python环境）3）采用tensorrt进行推理（python环境）4）采用tensorrt进行推理（c++环境）5）采用torch2trt进行推理（python环境）

m0_61330806的博客

05-05

898

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化学习资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！然后我们在dataset文件夹下面新建 init.py和dataset.py，在datasets.py文件夹写入下面的代码：import osfrom PIL i

Caffe/Pytorch转为TensorRT 4.0的示例代码

10-25

这个代码是安装TensorRT 4.0后自带的，功能也有限，所以自己在目录中搜索一下就能看到。所以先自己找找，找不到再下载。有些人可能不知道有这样的范例，工作碰上很麻烦。所以这里就打包上传。

Pytorch通过保存为ONNX模型转TensorRT5的实现

09-16

主要介绍了Pytorch通过保存为ONNX模型转TensorRT5的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

pytorch 将onnx模型转换为trt TensorRT模型

03-20

适用于TensorRT8.0版本及以上使用步骤 1、chmod 添加文件执行权限 2、将onnx路径修改为自己的onnx模型路径 3、运行py问价

还在为模型加速推理发愁吗？不如看看这篇吧。手把手教你把pytorch模型转化为TensorRT，加速推理

2401_84139610的博客

05-14

1066

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习摘要最近，学习了一些模型转化和加速推理的知识，本文是对学习成果的总结。

pytorch模型转TensorRT介绍及实践

lishanlu136的博客

10-24

1591

pytorch模型转TensorRT介绍及实践

PyTorch模型转TensorRT

lavinia_chen007的博客

06-15

3093

文章目录转换步骤概览环境参数PyTorch转ONNXONNX转TensorRT 转换步骤概览准备好模型定义文件（.py文件）准备好训练完成的权重文件（.pth或.pth.tar）安装onnx和onnxruntime 将训练好的模型转换为.onnx格式安装tensorRT 环境参数 ubuntu-18.04 PyTorch-1.8.1 onnx-1.9.0 onnxruntime-1.7.2 cuda-11.1 cudnn-8.2.0 TensorRT-7.2.3.4 PyTorch转ONNX

Pytorch模型转TensorRT步骤

charles_zhang_的博客

03-14

1993

pytorch模型使用tensorRT加速

Pytorch 模型转tensorRT 记录

yoyoshuang2013的博客

12-31

734

搜索到的pytorch 模型转tensorrt 模型有2种方案：直接将pytorch 模型转成trt , 参考：https://github.com/NVIDIA-AI-IOT/torch2trt来自 https://blog.youkuaiyun.com/debug_moner/article/details/90313514，但是这个方法实际操作的时候没有成功，遇到了一个问题，也是github上很多人都遇到的 https://github.com/NVIDIA-AI-IOT/torch2trt/issu...

tensorrt部署yolov11

最新发布

04-03

### 使用 TensorRT 部署 YOLOv11 模型 NVIDIA TensorRT 是一种高效的深度学习推理优化工具，能够显著提升模型的性能表现。以下是关于如何使用 TensorRT 部署 YOLOv11 的详细介绍。 #### 一、准备工作为了成功部署 YOLOv11 模型到 TensorRT 中，需要完成以下准备事项： - **安装 TensorRT**：按照官方文档中的说明进行安装[^1]。对于 Windows 用户，可以参考特定平台下的安装指南。 - **获取预训练权重文件**：确保已经拥有经过验证的 `best.pt` 文件作为初始输入[^4]。 #### 二、模型转换流程 YOLOv11 模型通常以 PyTorch 格式的 `.pt` 文件形式存在，在将其导入至 TensorRT 前需经历两次主要转换过程： 1. **PyTorch (.pt) 转 ONNX** 利用 Python 和 TorchScript 将原始 PyTorch 模型导出成通用中间表示格式——ONNX（Open Neural Network Exchange），这是跨框架兼容的关键一步[^2]。 ```python import torch model = torch.load('path/to/best.pt')['model'].float() # 加载 .pt 权重并转为浮点数模式 model.eval() dummy_input = torch.randn(1, 3, img_size, img_size).to(device='cuda') # 构造虚拟张量数据集 input_names = ["input_0"] output_names = ["output_0"] torch.onnx.export( model, dummy_input, 'yolov11.onnx', verbose=False, opset_version=11, do_constant_folding=True, input_names=input_names, output_names=output_names, dynamic_axes=None ) ``` 2. **ONNX 至 Engine File (TRT Engine)** 接下来借助 TensorRT 提供的相关 API 或者第三方脚本进一步简化操作步骤来构建最终可用引擎文件(.trt)[^3]。具体命令如下所示: ```bash trtexec --onnx=yolov11.onnx --saveEngine=yolov11.engine \ --workspace=8192MB --fp16 --verbose ``` #### 三、集成与运行时环境设置(C++) 当上述所有前置条件均已满足之后，则可通过编写 C++ 应用来加载 TRT 引擎执行预测任务。下面展示了一个简单的例子片段用于演示目的仅限于此处讨论范围之内: ```cpp #include "NvInfer.h" // ...其他必要的头文件... int main(){ nvinfer1::IBuilder* builder = createInferBuilder(gLogger); // 创建网络定义对象... auto network = builder->createNetworkV2(0U); // 解析先前保存下来的 engine file ... std::ifstream fin("yolov11.engine",std::ios::binary|std::ios::ate); size_t fsize = fin.tellg(); char *buffer=new char[fsize]; fin.seekg(0,std::ios::beg); fin.read(buffer,fsize); fin.close(); IRuntime* runtime = createInferRuntime(gLogger); ICudaEngine* engine = runtime->deserializeCudaEngine(buffer,fsize,nullptr); } ``` 以上即完成了整个基于 TensorRT 对于 YOLOv11 进行高效推断所需的主要环节概述[^3].