关于pytorch模型转tensorrt模型遇到的问题

最新推荐文章于 2024-11-05 15:04:55 发布
最新推荐文章于 2024-11-05 15:04:55 发布
阅读量1.6k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 图像分割技术 文章标签： pytorch 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41630455/article/details/120550334
在将使用UNet模型的DCM组织钙化检测系统从PyTorch模型转为ONNX并进一步部署到嵌入式设备的TRT中时，遇到精度下降的问题。经过排查，发现在不同环境中转换的ONNX模型存在精度差异。初步怀疑是由于PyTorch版本差异（1.4.0 vs 1.9.0）导致的精度损失，因为1.9.0可能在转换时保留了更多精度。下一步计划验证这个假设。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

实现一个对于dcm格式的人体切下来的组织就行钙化点检测。我采用了unet分割算法，期间pth模型训练已经到达了一定精度。准备部署到嵌入设备上。期间遇到一个印象深刻的坑，pth转onnx转trt。用trt跑的时候精度变低了。试了trtexec的命令进行各种参数设置并没有改观该现象。在onnx转trt过程中查了很多资料也辗转了很久以为是onnx转换过程出现了问题。后来无意一次心血来潮想试一下onnx的本身精度。发现onnx的精度也有问题，那么问题原来处在onnx上。问题解决的也挺奇特的，本来onnx是放在baiduaistudio环境下转的onnx版本也是1.10.1的，转换下来有误差。后来在自己电脑上转了竟然发现之前明显的误差没有了这就很奇怪，我的onnx版本也是一样的哈。这就很奇怪。那么问题处在哪里呢，个人感觉问题处在torch版本上，baiduaistudio的torch版本是1.4.0而我的电脑版本是1.9.0的,但是我训练环境又是1.4.0的版本这就有点诡异了。

可能原因是1.4.0还没有混合精度概念，而1.9.0转onnx的时候载入模型参数后进入eval模式应该转onnx时候能够保存了更多的精度。这是我的猜想，后面还要验证下

TensorRT：engine序列化大小不一致问题
微风❤水墨
01-15 901
之前序列化没有过多注意engine的大小问题，最近循环对一个模型序列化，发现大小会变化。不过经过验证，并不影响前向的推理结果。 经过查阅，找打这个解释链接，可能国内打不开该网页。同样的现象：大小不同，但结果一致。 官方的解释：序列化的时候，依赖当前的机器状态【GPU, OS/kernel, CPU, system load, available memory, etc】 更加详细的解释： 通常，由TensorRT构建器由给定INetworkDefinition生成的CUDA引擎可能取决于各种
【TensorRT】PyTorch模型转TensorRT引擎的两种方法对比与实现
最新发布
浩瀚之水的专栏
04-17 114
通过合理选择转换方法，可高效将PyTorch模型部署至TensorRT，充分发挥GPU推理性能。
Pytorch模型转TensorRT踩坑
weixin_44749835的博客
10-12 1381
博主使用mmclassification项目来训练道路标志识别模型，并且使用官方代码中的pytorch2onnx以及onnx2tensorrt脚本，由于工程需要使用的tensorrt版本为6.0，但是遇到了如下问题： 输出的onnx很复杂，有乱七八糟的结构 方法是将输出的onnx模型通过simplifier简化 版本问题 博主pytorch2onnx转换成功，但是再转trt的时候收到如下报错 经过google后发现是版本问题，大意是trt6不支持pytorch1.3，所以onnx解释器（onnx2
pytorch模型转tensorrt时空洞卷积导致的输出结果错误解决办法
joyjoy01的博客
05-11 1472
最近将一个带有空洞卷积的pytorch模型转为tensorrt加速，在转换过程中， 出现pytorch->onnx->tensorrt，pytorch->tensorrt两种方式均能完成转换， 但是转换后的模型输出结果不对，跟pytorch模型输出结果差别很大。 tensorrt 空洞卷积层后面接个ElementWise层，ElementWise层输出结果跟pytorch模型中卷积层的求和结果是不一样的。 模型结构： block{ conv1=conv(input,kernel
问题解决心路历程:tensorrt 与 原模型精度相差过大
柴犬犬舍
05-10 4582
今天用pytorch训练了一份resnet18的模型，用于工作服检测。 但是把模型转为tensorrt engine部署后，发现运行起来预测结果完全错误。 1.一开始以为是过拟合，但是用训练数据预测，发现还是不对。 2.这时开始怀疑是自己模型结构哪里写错了，但是编译已经通过了，也就是自己写的tensorrt模型，完美接收了来自pytorch的resnet18的参数。 发现自己写的tensorrt版本的resnet结构，输入数据是224*224,pytorch版是128*64。 ..
解决TensorRT同一数据每次返回结果都不一致问题
努力是为了躺平
07-21 2476
问题描述： 最近进行把TF的模型转化为UFF文件部署到TensorRT。在进行测试的时候发现一个问题，同一个数据使用TRT进行推理，但是每次结果都不一样。输出的结果本应是softmax算子输出结果， 但是输出的结果看着都是随机的，而且数值求和结果非1，而是有的非常大，有的非常小。 排查了一整天发现是因为我的日志头文件导入的顺序导致这个问题。 #include "easylogging++.h" #include "common.h" #include "buffers.h" #include "Nv
pytorch模型转TensorRT介绍及实践
lishanlu136的博客
10-24 1618
pytorch模型转TensorRT介绍及实践
pytorch模型转TensorRT模型，并在jetson nano上加速推理
zhangxianqi125的博客
07-08 742
在Ubuntu系统下实现pytorch模型转TensorRT模型，并在jetson nano上实现TensorRt推理加速
pytorch模型(.pth)转tensorrt模型(.engine)几种方式
weich_hou的博客
11-05 1691
pytorch模型转tensorrt的几种方式
从Pytorch到TensorRT的转换和推理
xu.hyj
03-12 2114
在本文中我们使用pytorch自带的工具将pt模型转为onnx模型，并使用onnxruntime推理引擎进行推理。为了保证模型转换过程中精度，进行了精度对齐的小实验，证明转换前后的误差在1e-6这个级别，是可以忍受的。后续继续将onnx转为tensorRT进行部署，实现从pt–onnx–tensorRT这个部署路线。
TensorRT得到的CUDA引擎序列化以后模型大小不一样
qq_29007291的博客
01-14 1019
现象 TensorRT得到的CUDA引擎序列化以后模型大小不一样。 我是从caffemodel解析生成的TensorRT-engine，发现同一个caffemodel得到的TensorRT-engine大小不一，大小每次相差几到几百KB，但是模型的检测结果一致。 疑问在于，优化过程应该不存在随机的过程，所以这个模型体积大小的变化从何而来呢？ 原因 有人遇到了类似的问题，官方给了解答（需要梯子），见下图 总的来说，生成CUDA-engine的时候，结合了你的GPU, os/kernel，cpu， 系统负载，
【mmdeploy】【TODO】使用mmdeploy将mmdetection模型转tensorrt
qq_40690815的博客
04-24 2500
使用mmdeploy将mmdetection模型转tensorrt
关于tensorRT中遇到的几个问题
qq_17278169的博客
10-24 4008
关于tensorRT中遇到的几个问题 一、运行同一个程序，前后两次的运行结果不一样 例如运行tensorRT-SSD代码，同样的测试图片，检测出来的目标框会有轻微的抖动，但是目标还是能检测出来，不会影响精度。 二、相同的代码，相同的模型，相同的测试图片，在不同的平台上结果不一样 我在pc上的gtx1080显卡运行tensorRT代码，全部调试通过之后移植到tx2平台上运行，却发现在tx2平台上的检...
pytorch转tensorRT踩的几个小坑
紫金山赵火龙的博客
12-20 5287
1、版本不匹配 [E] [TRT] Layer:Where_51's output can not be used as shape tensor. [E] [TRT] Network validation failed. [E] Engine creation failed. [E] Engine set up failed. 这实际是由于pytorch与TensorRT版本不匹配，我的TensorRT是7.0，pytorch应该是1.4，但我用了1.7 因此需要用1.7重新读取权重文件，然后用老
YOLOX （pytorch）模型 转 tensorRT 之运行推理Python / C++
weixin_38906715的博客
09-28 1072
1.torch2trt 安装git clone https://github.com/NVIDIA-AI-IOT/torch2trt cd torch2trt python setup.py install 2.转换模型python tools/trt.py -n yolox-s -c yolox_s.pth 这个过程大约需要10分钟，生成的模型保存在：YOLOX_outputs/yolox_s/...
把onnx模型转TensorRT模型的trt模型报错：Your ONNX model has been generated with INT64 weights. while TensorRT
热门推荐
求真、务实
07-31 2万+
欢迎大家关注笔者，你的关注是我持续更博的最大动力 原创文章，转载告知，盗版必究 把onnx模型转TensorRT模型的trt模型报错：[TRT] onnx2trt_utils.cpp:198: Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32. 文章目录：1 错误原因分析2 错误..
【解决方案】onnx 转 TensorRT (.plan, .trt) 报错 Error[10]: Could not find any implementation 或 OutOfMemory 问题
weixin_44212848的博客
04-02 3359
【解决】将动态输入输出的 .onnx 模型转化为 .plan 过程中，出现了 Error[10] Could not find any implementation for node {ForeignNode 报错。
tensorRT相关问题
IT菜鸟
11-04 3146
FP 16量化推理的结果不一致的原因 (抛砖引玉)TensorRT的FP16不得劲？怎么办？在线支招！ 模型中某一层的计算FP 16因为动态范围和精度不够，导致某个OP节点的计算值溢出。迁一发而动全身，整个模型后面的所有层都崩塌了。 TensorRT只是加速，对精度有影响吗？ TensorRT有多个方式进行inference加速，一个是layer的融合，这个是没有精度损失的；另外还可以采用低精度的FP 16 INT 8计算，FP 16基本没有精度损失，INT 8需要做量化，这时候会有很高的加速，精度损失也很
【TensorRT】onnx转成TensorRT开发踩坑记录（Win10+cuda11.1+TensorRT7.2.2.3）（持续更新）
qq_42944019的博客
12-16 5764
本博客提供onnx模型转成TensorRT模型时的开发经验。
Pytorch模型转TensorRT
01-07
### 将Pytorch模型转换为TensorRT 为了将Pytorch模型转换为TensorRT以提升推理性能，通常有两种主要路径：一种是通过`torch2trt`库直接实现转换；另一种则是先将Pytorch模型导出至ONNX格式再转为TensorRT引擎。 #### 使用 `torch2trt` 库进行转换 对于较为简单的网络结构可以直接利用`torch2trt`来完成这一过程。下面是一个具体的实例展示如何操作： ```python import torch from torch2trt import torch2trt from torchvision.models.resnet import resnet18 # 更改为你自己的模型定义 # 加载预训练的ResNet-18模型作为示范 model = resnet18(pretrained=True).eval().cuda() # 创建输入张量用于推断和校准 x = torch.ones((1, 3, 224, 224)).cuda() # 转换模型到TensorRT优化后的版本 model_trt = torch2trt(model, [x]) # 测试原始模型与TRT优化后模型之间的差异 y = model(x) y_trt = model_trt(x) print('最大绝对误差:', torch.max(torch.abs(y - y_trt))) ``` 这段代码展示了加载一个预先训练好的ResNet-18模型，并将其转换成适用于GPU上的TensorRT优化版[^1]。 #### 经由 ONNX 中间表示法过渡 当面对更复杂的架构或是自定义层时，则推荐采用两步走的方式——即先将Pytorch模型保存为ONNX文件，之后借助NVIDIA提供的工具集进一步编译成为TensorRT引擎。以下是简化流程说明： 1. **准备环境** 需要确保已经安装好相应的依赖项，比如`onnx`, `onnxruntime-gpu`以及`tensorrt`等软件包。如果遇到下载速度慢的问题，建议切换为中国大陆地区的镜像源加快获取进度[^2]。 2. **导出为ONNX格式** 利用`torch.onnx.export()`函数可轻松地把现有的Pytorch模块序列化为兼容于其他框架的形式。 ```python dummy_input = torch.randn(1, 3, 224, 224).to(device='cuda') torch.onnx.export( model, args=(dummy_input,), f="resnet18.onnx", export_params=True, opset_version=10, do_constant_folding=True, input_names=['input'], output_names=['output'] ) ``` 3. **构建TensorRT引擎** 接下来就是运用官方文档里提到的方法读取刚才生成的`.onnx`文件并创建对应的执行计划了。这部分涉及到C++ API或者Python bindings的具体调用细节，在此不再赘述，请参照[NVIDIA TensorRT开发者指南](https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html)学习更多相关内容[^3]。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值