Tensorrt笔记

已于 2022-06-19 23:38:40 修改
阅读量296 收藏
点赞数
分类专栏： pytorch实践 文章标签： tensorrt
于 2022-06-18 11:52:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/juluwangriyue/article/details/125343973
版权
本文详细介绍了如何使用TensorRT进行ONNX模型转换、利用trtexec.exe进行性能测试、通过C++ API创建和优化Engine，尤其是讨论了int8校准的过程，以及在实际测试中构建引擎、内存分配和执行推断的关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Tensorrt笔记

1、使用 tensorrt测试

1、把模型导出成 ONNX 格式。
2、安装 TensorRT 和 CUDA。注意二者和 driver 的版本号对应，我用的是 ZIP 安装：Installation Guide :: NVIDIA Deep Learning TensorRT Documentation，跟着这个把流程走一遍。
3、设置优化参数，使用 TensorRT 把 ONNX 优化成 Engine，得到当前硬件上优化后的模型。
4、使用 TensorRT Runtime API 进行 inference。
官方文档：Developer Guide :: NVIDIA Deep Learning TensorRT Documentation，写的很详细了。

1.1、ONNX

了解本专栏 订阅专栏 解锁全文
TensorRT笔记(12)使用DLA
qq_33287871的博客
02-11 2353
使用DLA11.使用DLA11.1 在TensorRT推理期间在DLA上运行11.1.1 示例：带有DLA的sampleMNIST11.1.2 示例：在网络创建期间为层启用DLA模式11.2 DLA支持的层11.3 GPU后备模式 11.使用DLA NVIDIA®DLA™（深度学习加速器）是用于深度学习操作的固定功能加速器引擎。 DLA旨在进行卷积神经网络的完整硬件加速。 DLA支持各种层，例如卷积，解卷积，完全连接，激活，合并，批处理规范化等。 有关NVIDIA®TensorRT™层中DLA支持的更多信息
Tensorrt笔记（七）Tensorrt使用问题整理
juluwangriyue的博客
06-26 582
今天转换模型遇到问题： 这个问题目前还不知道怎样解决。在其他电脑上没有遇到这个问题。
onnx转TensorRT使用的三种方式（最终在Python运行）
热门推荐
weixin_42492254的博客
07-28 1万+
onnx转TensorRT使用的三种方式（Python运行）
【TensorRT】onnx转成TensorRT开发踩坑记录（Win10+cuda11.1+TensorRT7.2.2.3）（持续更新）
qq_42944019的博客
12-16 5655
本博客提供onnx模型转成TensorRT模型时的开发经验。
Win10+VS2019+yolov5+TensorRT加速
hahasl555的博客
05-26 6094
目录前言一、环境准备二、工程创建1、新建一个工程2、添加工程文件3、环境配置4、复制opencv_world347.dll5、设置.cu文件三、开始编译四、改为调用USB摄像头 前言 原本想先在手提上测试再移植到Jetson nano上的，结果导师叫我赶快把嵌入式端的搞出来（有兴趣的可以看我上一篇文章），所以拖到现在才有时间完成PC端的加速。（2021-5） 一、环境准备 除了安装cuda,cudnn,TensorRt,OpenCV之外,还需要用到yolov5:https://github.com/ult
yolov5模型 转 tensorRT
MAX的专栏
06-01 917
yolov5模型转TensorRT踩坑记
TensorRT - 解决INVALID_ARGUMENT: getPluginCreator could not find plugin ScatterND version 1
HW140701的博客
09-19 7879
1 问题出现 最近在使用TensorRT 7.2.3.4中的自带的trtexec工具转换yolov3-spp的onnx模型为TensorRT模型文件时出现了找不到ScatterND插件的错误，错误大致如下： ModelImporter.cpp:135: No importer registered for op: ScatterND. Attempting to import as plugin. builtin_op_importers.cpp:3771: Searching for plugin: Sc
Tensorrt笔记（一） C++ API
SimpleBright_Man的博客
06-06 1749
计划：C++和python API学习，看yolo系列实现代码，部署一遍，自己写一份（就弄自己的）
Tensorrt笔记（二）python 测试
juluwangriyue的博客
06-19 386
TensorRT是英伟达针对自家平台做的加速包，TensorRT主要做了这么两件事情，来提升模型的运行速度。tensorRT的配置是很简单的，官网注册，填调查问卷，就可以下载了,笔者用的是TensorRT-7.0.0.11.CentOS-7.6.x86_64-gnu.cuda-9.0.cudnn7.6.tar.gz版本，到存放目录直接解压，配置一下lib下各种编译好的包，还有很重要的cuda环境。 然后pip安装解压后python 目录下的合适版本的python-tensorrt，pip安装pycuda。i
TensorRT报Cuda initialization failure with error
修炼之路
09-03 1万+
起因 在使用TensorRT将onnx模型转换为engine时报[TRT] Cuda initialization failure with error详细错误信息如下 [TensorRT] ERROR: CUDA initialization failure with error 222. Please check your CUDA installation: http://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html 问
TensorRT 报错（Python)：Error Code 1: Cuda Runtime (invalid resource handle) 解决方法
微鉴道长的博客
08-29 1万+
TensorRT 报错（Python)：Error Code 1: Cuda Runtime (invalid resource handle) 解决方法
tensorRT报错: pycuda._driver.LogicError: cuMemcpyHtoDAsync failed: invalid argument
GungnirsPledge的博客
09-06 6037
cuMemcpyHtoDAsync的报错报错原因解决办法参考文献 报错 Running inference on image /home/xxx/Desktop/121.png... Traceback (most recent call last): File "to_tensorRT.py", line 144, in <module> main() File "to_tensorRT.py", line 114, in main trt_outputs = comm
TensorRT推理报错：pycuda._driver.LogicError: cuMemcpyHtoDAsync failed: invalid argument
求真、务实
12-03 4221
文章目录： 遇到这个错误的原因一般有两个： tensorrt推理引擎输入推理数据的维度不对 tensorrt推理引擎输入推理数据的类型不对 参考1：https://blog.csdn.net/GungnirsPledge/article/details/108428651 参考2：https://111qqz.github.io/2020/09/torch2trt/ ...
TensorRT的调试报错整理
weixin_42279044的博客
10-30 7875
TensorRT的调试报错整理 报错：pycuda._driver.LogicError: explicit_context_dependent failed: invalid device context - no currently active context? 原因：pycuda.driver没有初始化，导致无法得到context，需要在导入pycuda.driver后再导入pycuda....
Windows系统下在Anaconda中使用bash
juluwangriyue的博客
09-28 9738
anaonda环境中如何使用bash命令，提示： 'sh' 不是内部或外部命令，也不是可运行的程序或批处理文件。 解决办法： 在anaconda中执行以下命令即可（要先activation 想用的环境）： conda install m2-base 他自动安装的依赖包还挺多的，安装完毕后，再运行bash命令没问题了。 ...
onnxruntime推理CPU GPU切换
juluwangriyue的博客
12-22 5870
onnxruntime推理CPU GPU切换1、切换CPU与GPU 1、切换CPU与GPU 在anaconda环境下安装了onnxruntime和onnxruntime-gpu，在使用时总是默认调用gpu版本的库。 有时需要对比CPU和GPU的性能，有时因为显存不够只能使用CPU版本的库，但是系统默认调用GPU的库，网上看到一些说法，为了测试CPU只能把GPU的库卸载了，这种说法我不赞成。 其实只要细心，跳转到onnxruntime的InferenceSession定义据可以知道，办法是有的，就是多设置一个
pytorch训练与测试爆显存问题的解决
juluwangriyue的博客
11-27 5282
解决Pytorch 训练与测试时爆显存(out of memory)的问题 Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: output = model(input) except RuntimeError as exception: if "out of memory" in str(excep
TensorRT学习笔记--Ubun
最新发布
04-02
### 关于TensorRT在Ubuntu上的学习资料 #### 1. TensorRT简介 TensorRT 是 NVIDIA 提供的一个高性能深度学习推理库，能够优化神经网络模型并将其部署到生产环境中[^1]。它通过减少计算量和内存使用来提高推理速度。 #### 2. 开发环境搭建 为了在 Ubuntu 上使用 TensorRT 进行开发，通常需要完成以下几个步骤： - 安装 CUDA 和 cuDNN：这是 TensorRT 的基础依赖项。 - 下载并安装 TensorRT 库及其相关工具。 - 配置 Python 或 C++ 环境以便调用 TensorRT API。 具体操作可以参考官方文档中的说明。 #### 3. ONNX 转 Engine 流程 当从其他框架（如 PyTorch 或 TensorFlow）转换模型至 TensorRT 时，常用的方法是先将模型导出为 ONNX 格式，再利用 TensorRT 工具链生成 engine 文件。以下是基本流程概述： 创建日志记录器实例用于捕获构建过程中的消息输出；初始化 builder 对象负责管理整个引擎创建周期；定义显存分配策略以及指定目标平台架构参数等设置均在此阶段完成[^2]。 ```python import tensorrt as trt def build_engine(onnx_file_path, logger): with trt.Builder(logger) as builder: network_flags = 1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH) with builder.create_network(network_flags) as network,\ builder.create_builder_config() as config,\ trt.OnnxParser(network, logger) as parser: with open(onnx_file_path, &#39;rb&#39;) as model: if not parser.parse(model.read()): for error in range(parser.num_errors): print(parser.get_error(error)) return None config.max_workspace_size = 1 << 30 # 设置最大工作空间大小 return builder.build_serialized_network(network, config) log = trt.Logger() serialized_engine = build_engine("/path/to/model.onnx", log) with open("/path/to/engine.trt", "wb") as f: f.write(serialized_engine) ``` 上述脚本展示了如何加载 ONNX 模型并通过 TensorRT 构建序列化后的 engine 文件。 #### 4. 学习资源推荐 对于希望深入理解 TensorRT 并应用于实际项目的开发者来说，《Deep Learning Inference with TensorRT》是一份非常有价值的指南材料。此外，在线社区论坛和技术博客也提供了大量实践经验分享，比如针对特定版本更新带来的新特性和最佳实践案例分析等内容值得查阅。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

落花逐流水

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值