pytorch模型转为tensorrt engine的通用流程

PyTorchtoTensorRT转换流程：从模型简化到精度优化

最新推荐文章于 2024-10-24 20:35:03 发布

原创

最新推荐文章于 2024-10-24 20:35:03 发布 · 836 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #人工智能 #深度学习

基本流程

pytorch模型->onnx模型->（onnx模型简化）->tensorrt模型

pytorch模型导出为onnx模型

dummy_input = torch.randn(50, 3, 1280, 1280, device='cuda') # 导出时推理输入
input_names = ["images"] # 输入名
output_names = ['num_dets', 'det_boxes']

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

勤劳的凌菲

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

机器学习笔记 - 基于百度飞桨PaddleSeg的人体分割模型以及TensorRT部署说明

学以致用知行合一

11-29

1085

虽然Segment Anything用于图像分割的通用大模型看起来很酷（飞桨也提供分割一切的模型），但是个人感觉落地应用的时候心里还是更倾向于飞桨这种场景式的，因为需要用到一些人体分割的需求，所以这里主要是对飞桨高性能图像分割开发套件进行了解和使用，但是暂时不训练，因为搞数据集挺费劲。内置及最新发布HumanSeglite模型超轻量级人像分割模型，可支持移动端场景的实时分割。

PyTorch中F.conv2d从ONNX到TensorRT的支持

TracelessLe的专栏

04-13

1350

前言在使用PyTorch进行网络训练得到.pth模型文件后，我们可能会做一些模型部署和加速的工作。这里一般会涉及到将PyTorch模型转为ONNX模型的过程。PyTorch自带了ONNX转换方法（torch.onnx.export），可以很方便的将一些仅包含通用算子的网络的PyTorch模型转为ONNX格式。另一方面，TensorRT是NVIDIA推出的一款高效深度学习模型推理框架，其包括了深度学习推理优化器和运行时，能够让深度学习推理应用拥有低时延和高吞吐的优点。在使用PyTorch训练得到网络模型

参与评论您还未登录，请先登录后发表或查看评论

pytorch模型(.pth)转tensorrt模型(.engine)几种方式

热门推荐

小菜的博客

05-05

2万+

序言这篇文章总结了训练好的pytorch模型转成tensorrt模型部署的几种方式，转换原理流程大致如下：导出网络定义以及相关权重；解析网络定义以及相关权重；根据显卡算子构造出最优执行计划；将执行计划序列化存储；反序列化执行计划；进行推理值得注意的是第三点，可以看到tensorrt转换出来的模型实际上是和硬件绑定的，也就是在部署的过程中，如果你的显卡和显卡相关驱动软件（cuda、cudnn）发生了改变，那么模型就得需要重新做转换。一、trtexec trtexec是在tensorrt包

trt 使用trtexec工具ONNX转engine

ytusdc的博客

09-24

2833

【代码】trt 使用trtexec工具ONNX转engine。

Pytorch转TensorRT范例代码

柳鲲鹏

10-25

1万+

　　TensorRT官方文档说，/usr/src/tensorrt/samples/python/network_api_pytorch_mnist下有示例代码。实际上根本就没有。这里提供一个示例代码，供参考。　　这个范例的具体位置是：/usr/local/lib/python3.5/site-packages/tensorrt/examples/pytorch_to_trt #!/usr...

Pytorch 转TensorRT5

12-21

知乎上，说的也不错： https://zhuanlan.zhihu.com/p/88318324 https://blog.youkuaiyun.com/qq_38003892/article/details/89314108 1.torch2trt https://www.ctolib.com/amp/NVIDIA-AI-IOT-torch2trt.html https://github.com/DocF/YOLOv3-Torch2TRT https://github.com/traveller59/torch2trt 像官方代码: https://github.com/NVIDIA-AI-IOT/to

pytorch转tensorRT步骤

小菜的博客

12-18

1万+

序言最近在摸索pytorch转tensorRT部署，看了很多示例代码，把步骤总结了一下。各种模型转换都大同小异，有所收获，记录一下。一、转换流程 pytorch转tensorRT步骤：使用pytorch训练得到pt文件；将pt文件转换为onnx中间件；使用onnxsim.simplify对转换后的onnx进行简化；解析onnx文件构建trt推理引擎；加载引擎执行推理，为引擎输入、输出、模型分配空间；将待推理的数据（预处理后的img数据）赋值给inputs（引擎输入）; 执行推理，拿到out

pytorch模型tensorrt加速之-pth转onnx转trt，在推理trt模型测试模型速度

pyswt的博客

04-29

7377

首先需要安装两个必要的包tensorrt和torch2trt，tensorrt的话要在官网下载tar压缩包，建议下载tar包安装

Pytorch模型转TensorRT模型部署（一.环境的搭建）

qq_42911863的博客

01-16

1130

AI模型部署的常见方案参考:在这里我们使用的是GPU的模型部署：pytorch->onnx->onnx2trt->tensorRT。

Caffe/Pytorch转为TensorRT 4.0的示例代码

10-25

这个代码是安装TensorRT 4.0后自带的，功能也有限，所以自己在目录中搜索一下就能看到。所以先自己找找，找不到再下载。有些人可能不知道有这样的范例，工作碰上很麻烦。所以这里就打包上传。

Pytorch通过保存为ONNX模型转TensorRT5的实现

09-16

主要介绍了Pytorch通过保存为ONNX模型转TensorRT5的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

从Pytorch到TensorRT的转换和推理

xu.hyj

03-12

2381

在本文中我们使用pytorch自带的工具将pt模型转为onnx模型，并使用onnxruntime推理引擎进行推理。为了保证模型转换过程中精度，进行了精度对齐的小实验，证明转换前后的误差在1e-6这个级别，是可以忍受的。后续继续将onnx转为tensorRT进行部署，实现从pt–onnx–tensorRT这个部署路线。

【保姆级教程附代码】Pytorch (.pth) 到 TensorRT (.plan) 模型转化全流程

weixin_44212848的博客

04-03

2308

那么恭喜你的 .onnx 大概率是可以转化到 .plan 的！当然这里也有些坑，比如明明是显存不够错误，但日志里完全没提 oom，而是说节点问题。。。

host文件_Tensor RT-pytorch权重文件转engine

weixin_39875503的博客

11-27

622

备份：banQ/pythonProject/TensorRT_demo1.根据pytorch保存权重的方法保存两种方法#第一种方法 '''保存weight等信息''' state = {‘net':model.state_dict(), 'optimizer':optimizer.state_dict(), 'epoch':epoch} torch.save(state, dir) '''读取方法...

还在为模型加速推理发愁吗？不如看看这篇吧。手把手教你把pytorch模型转化为TensorRT，加速推理

2401_84139610的博客

05-14

1137

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习摘要最近，学习了一些模型转化和加速推理的知识，本文是对学习成果的总结。

pytorch模型转TensorRT介绍及实践

lishanlu136的博客

10-24

1901

pytorch模型转TensorRT介绍及实践

PyTorch模型转TensorRT

lavinia_chen007的博客

06-15

3226

文章目录转换步骤概览环境参数PyTorch转ONNXONNX转TensorRT 转换步骤概览准备好模型定义文件（.py文件）准备好训练完成的权重文件（.pth或.pth.tar）安装onnx和onnxruntime 将训练好的模型转换为.onnx格式安装tensorRT 环境参数 ubuntu-18.04 PyTorch-1.8.1 onnx-1.9.0 onnxruntime-1.7.2 cuda-11.1 cudnn-8.2.0 TensorRT-7.2.3.4 PyTorch转ONNX

PyTorch转TensorRT

hajungong007的博客

10-27

2852

安装TensorRT 按照官网的安装教程即可，我装的是TensorRT-6.0.1.5。安装onnx sudo apt-get install protobuf-compiler libprotoc-dev pip install onnx==1.5.0 安装 onnx-tensorrt git clone --recursive https://github.com/onnx/onn...

tensorRT能优化pytorch的模型吗？还是只能优化TensorFlow的模型？或者是ONNX的模型？给出优化他们的代码

最新发布

05-09

<think>好的，我现在要回答用户关于TensorRT能否优化PyTorch、TensorFlow或ONNX模型的问题，并提供相应的代码示例。首先，我需要确认TensorRT的支持范围。TensorRT是NVIDIA的推理优化库，主要用于加速深度学习模型的推理。它支持多种框架的模型，但通常需要通过中间格式转换。比如，PyTorch模型通常需要先导出为ONNX格式，然后再用TensorRT优化。TensorFlow模型可以直接转换，或者使用TF-TRT集成。ONNX作为通用格式，TensorRT自然支持。接下来，我需要分步骤说明每个框架的转换方法，并提供代码示例。对于PyTorch，步骤是导出为ONNX，然后用TensorRT转换。TensorFlow方面，可以用SavedModel直接转换，或者用TF-TRTAPI。ONNX模型可以直接用TensorRT处理。代码部分需要正确展示每个步骤，比如导出ONNX、使用trtexec工具或Python API进行转换。同时，要解释每个代码块的作用，确保用户理解流程。还要注意可能的常见问题，比如版本兼容性、算子支持等，可能需要提醒用户。另外，相关问题的提出要围绕TensorRT的其他功能、不同框架的优化差异、性能对比等，帮助用户深入理解。</think>TensorRT可以优化PyTorch、TensorFlow和ONNX模型，但需要通过中间格式转换。以下是具体方案和代码示例： 1. **PyTorch模型优化**（需转ONNX）： ```python # 导出PyTorch模型到ONNX import torch import torchvision model = torchvision.models.resnet18(pretrained=True) dummy_input = torch.randn(1, 3, 224, 224) torch.onnx.export(model, dummy_input, "resnet18.onnx", opset_version=11, input_names=["input"], output_names=["output"]) # 使用trtexec转换（命令行工具） # trtexec --onnx=resnet18.onnx --saveEngine=resnet18.trt --fp16 ``` 2. **TensorFlow模型优化**（支持SavedModel或直接转换）： ```python # 方法1：使用TF-TRT集成 import tensorflow as tf from tensorflow.python.compiler.tensorrt import trt_convert as trt converter = trt.TrtGraphConverterV2( input_saved_model_dir="saved_model", precision_mode=trt.TrtPrecisionMode.FP16 ) converter.convert() converter.save("trt_model") # 方法2：直接转换 # 使用命令行：trtexec --savedEngine=model.trt --fp16 --tf ``` 3. **ONNX模型优化**（直接支持）： ```python # 使用TensorRT Python API import tensorrt as trt logger = trt.Logger(trt.Logger.WARNING) builder = trt.Builder(logger) network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) parser = trt.OnnxParser(network, logger) with open("model.onnx", "rb") as f: if not parser.parse(f.read()): for error in range(parser.num_errors): print(parser.get_error(error)) config = builder.create_builder_config() config.set_flag(trt.BuilderFlag.FP16) serialized_engine = builder.build_serialized_network(network, config) with open("engine.trt", "wb") as f: f.write(serialized_engine) ``` **代码解释**： - PyTorch模型需要先转为ONNX格式再转换 - TensorFlow支持直接转换或使用TF-TRT集成 - ONNX模型可以直接通过TensorRT的API解析 - FP16模式可以显著提升推理速度 - 最终生成`.trt`或`.engine`的优化后模型