笔记|初步了解TensorRT

最新推荐文章于 2025-11-14 18:04:27 发布
原创 最新推荐文章于 2025-11-14 18:04:27 发布 · 616 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#TensorRT #GPU加速 #DeepLearning

文章目录

1. 什么是TensorRT？

众所周知神经网络在CV等领域有着非常出众的表现，但是现实部署往往面临网络模型inference时间过大等问题，各类加速尤其是针对inference阶段的加速手段被提出。TensorRT是NVIDIA针对神经网络inference阶段提供的加速器。

2. TensorRT 做了哪些优化？

相对于训练过程，网络推断时模型结构及参数都已经固定，batchsize一般较小，对于精度的要求相较于训练过程也较低，这就给了很大的优化空间。具体到TensorRT，主要在一下几个方面进行了优化：

  1. 合并某些层
    有时制约计算速度的并不仅仅是计算量，而是网络对于内存的读写花费太大，TensorRT中将多个层的操作合并为同一个层，这样就可以一定程度的减少kernel launches和内存读写。例如conv和relu等操作一次做完。

另外，对于相同输入及相同filtersize的层会合并为同一层，利用preallocating buffers等消除了concat层

  1. 支持FP16 或者INT8的数据类型
    训练时由于梯度等对于计算精度要求较高，但是inference阶段可以利用精度较低的数据类型加速运算，降低模型的大小

  2. Kernel Auto-Tuning
    TensorRT针对不同的超参数有一写算法层面的优化，比如会根据卷积核的大小、输入大小等超参数确定使用哪种算法进行卷积运算

  3. Dynamic Tensor Memory
    TensorRT经过优化减少内存开销，提高内存的reuse

  4. 多支并行运算
    对于同一输入的多个分支可以进行并行运算

更多请细节就要浏览更专业的

最低0.47元/天 解锁文章
YOLOv8【第九章：模型部署篇·第20节】一文搞懂，YOLOv8部署最佳实践总结！
**My Coding Family**
12-20 697
🏆 本文收录于 《YOLOv8实战：从入门到深度优化》 专栏。该专栏系统复现并梳理全网各类 YOLOv8 改进与实战案例（当前已覆盖分类 / 检测 / 分割 / 追踪 / 关键点 / OBB 检测等方向），坚持持续更新 + 深度解析，质量分长期稳定在 97 分以上，可视为当前市面上 覆盖较全、更新较快、实战导向极强 的 YOLO 改进系列内容之一。
计算机视觉、目标检测、视频分析的过去和未来：目标检测从入门到精通 ------ YOLOv8 到 多模态大模型处理视觉基础任务
shiter编写程序的艺术
07-03 938
自注意力机制和注意力机制的区别就在于，注意力机制的查询和键是不同来源的，例如，在Encoder-Decoder模型中，键是Encoder中的元素，而查询是Decoder中的元素。在中译英模型中，查询是中文单词特征，而键则是英文单词特征。而自注意力机制的查询和键则都是来自于同一组的元素，例如，在Encoder-Decoder模型中，查询和键都是Encoder中的元素，即查询和键都是中文特征，相互之间做注意力汇聚。从剩余的预测框中选择一个与基准框的重叠面积最大的框，如果其重叠面积大于一定的阈值，则将其删除。
Tensorrt学习笔记--Tensorrt的基本知识
梦坠凡尘
02-20 4372
Tensorrt支持三个Parser Caffe Parser This parser can be used to parse a Caffe network created in BVLC Caffe or NVCaffe 0.16. It also provides the ability to register a plugin factory for custom layers. UFF...
高性能深度学习支持引擎实战——TensorRT
weixin_34290390的博客
04-11 1610
推广：数十款阿里云产品限时折扣中，赶紧点击这里，领劵开始云上实践吧！ 本场技术沙龙回顾链接：TensorRT加速深度学习在线部署 演讲嘉宾简介： 李曦鹏，现任英伟达devTech团队高级软件工程师，毕业于中国科学院过程工程研究所，拥有近10年CUDA/HPC编程经验。主要负责深度神经网络和高性能计算的性能优化。 以下内容根据演讲嘉宾视频分享以及PPT...
TensorRT介绍
最新发布
Whiser的博客
11-14 363
TensorRT，由NVIDIA精心打造，是一款专为深度学习推理任务设计的高效优化工具。它能够显著降低应用的延迟同时提升处理速度，是大规模数据中心、嵌入式设备以及自动驾驶技术等领域推理加速的理想选择。TensorRT的兼容性广泛，支持包括TensorFlow、Caffe、Mxnet和Pytorch在内的主流深度学习框架，与NVIDIA GPU的结合使用，实现了在各种框架下的快速且高效的模型部署。本章参考。
Tensor RT学习笔记（一）
weixin_34128839的博客
02-26 834
概述：NVIDIA TensorRT™是一个C ++库，可以帮助NVIDIA图形处理器（GPU）进行高性能推理。 TensorRT通过合并张量和图层，转换权重，选择高效的中间数据格式，并根据图层参数和测量的性能从大型内核目录中进行选择，从而对网络进行定义并对其进行优化。TensorRT包含导入方法，可帮助您表达经过训练的TensorRT深度学习模型，以进行...
TensorRT学习笔记（1）基础知识
weixin_42494287的博客
06-02 1487
一、各项英文缩写词语的基本概念 1、UFF Universal Framework Format 是一种描述DNN执行图的数据格式，绑定执行图的是输入和输出，UFF有严格规定的语法，支持核心运算的拓展，与完全用户自定义的运算。 包括以下内容： Ø 具体序列化的格式，采用protobuf格式。 Ø 各种运算的有效定义，以python描述符来表述。 Ø 每个核心运算符执行文档。 2...
jetson tx2 上部署TensorRT模型推理
weixin_43590290的博客
07-23 7882
1## 标题 jetson tx2 是什么？ jetson tx2简而言之就是
TensorRT 加速性能分析
吴建明wujianming_110117
05-28 2365
TensorRT 加速性能分析 Out-of-the-box GPU Performance 模型推理性能是什么意思？在为用户评估潜在的候选项时，不测量数据库查询和预筛选（例如决策树或手动逻辑）的贡献。使用估计器对特征列进行预处理，并通过网络复制输入/结果。 有两个主要推理上下文： 离线推理-一次预先计算多个用户的概率 在线推理-为特定用户实时推荐 因此，可能有兴趣优化三个指标： 吞吐量，例如用户/秒（离线） 单次推理延迟（在线） 满足设置的延迟约束时的吞吐量 在使用TensorFlow的stock实现时的
CUTLASS 2.x & CUTLASS 3.x Intro 学习笔记
I good vegetable a!
08-08 4277
这张是CUTLASS GEMM的核心概念图。除了Tiling之外还要考虑Overlap，现在我们有Tling来决定线程块/线程需要做哪些事情，有内存Streaming的过程让数据尽可能的复用在各级存储上，NumStage这个模板参数用来决定开多少个额外的Buffer来做计算和传输的Overlap（参考Double Buffering）,如最下方的中间的图所示。除了Tiling之外另外一个重要的概念是我们需要把数据尽可能的复用在高级缓存上，享受到更高的带宽，避免频繁的读取global memory的数据。
TensorRT
qq_44089890的博客
04-09 8486
对于任何用到shape、size返回值的参数时，例如：tensor.view(tensor.size(0), -1)这类操作，避免直接使用tensor.size的返回值，而是加上int转换，tensor.view(int(tensor.size(0)), -1)，断开跟踪。按照说的这么修改，基本总能成。下载onnx，保留其proto协议文件，生成pb.h、pb.cpp，只使用这几个即可，不需要onnx全部,Protocol Buffers，为了解决任何语言之间的数据序列化反序列化工作。
Nvidia TensorRT官方API文档
02-20
Nvidia TensorRT官方API文档，离线使用。
极智AI | Attention 中 torch.chunk 的 TensorRT 实现
极智视界
06-05 601
大家好，我是极智视界，本文介绍一下 Attention 中 torch.chunk 的 TensorRT 实现。
深度学习推理引擎---TensorRT
MzKyle的博客
05-16 1393
TensorRT 是 NVIDIA 推出的高性能深度学习推理优化器与运行时库，专为 NVIDIA GPU 硬件深度优化，能够显著提升模型推理速度（最高达 6 倍）并降低延迟。它广泛应用于自动驾驶、智能视频分析、语音识别等对实时性要求高的场景。TensorRT 的核心架构包括模型解析、层融合、精度校准、张量重构和多流执行等优化流程，支持 TensorFlow、PyTorch 等框架的模型导入。
TensorRT 简单介绍
豫州刺史
12-19 1050
对于算法工程师来说，相信大家已经对TensorRT耳熟能详了，那么这个TensorRT是什么呢？其实，TensorRT是一个可以在NVIDIA各种GPU硬件平台下运行的，同时也是一个高性能的，可以为深度学习的落地应用起到的作用。TensorRT是由C++、CUDA、Python三种语言编写成的一个库，其中核心代码的语言为C++和CUDA，当然，它也有Python的API接口。
TensorRT学习笔记--Ubun
04-02
### 关于TensorRT在Ubuntu上的学习资料 #### 1. TensorRT简介 TensorRT 是 NVIDIA 提供的一个高性能深度学习推理库，能够优化神经网络模型并将其部署到生产环境中[^1]。它通过减少计算量和内存使用来提高推理速度。 #### 2. 开发环境搭建 为了在 Ubuntu 上使用 TensorRT 进行开发，通常需要完成以下几个步骤： - 安装 CUDA 和 cuDNN：这是 TensorRT 的基础依赖项。 - 下载并安装 TensorRT 库及其相关工具。 - 配置 Python 或 C++ 环境以便调用 TensorRT API。 具体操作可以参考官方文档中的说明。 #### 3. ONNX 转 Engine 流程 当从其他框架（如 PyTorch 或 TensorFlow）转换模型至 TensorRT 时，常用的方法是先将模型导出为 ONNX 格式，再利用 TensorRT 工具链生成 engine 文件。以下是基本流程概述： 创建日志记录器实例用于捕获构建过程中的消息输出；初始化 builder 对象负责管理整个引擎创建周期；定义显存分配策略以及指定目标平台架构参数等设置均在此阶段完成[^2]。 ```python import tensorrt as trt def build_engine(onnx_file_path, logger): with trt.Builder(logger) as builder: network_flags = 1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH) with builder.create_network(network_flags) as network,\ builder.create_builder_config() as config,\ trt.OnnxParser(network, logger) as parser: with open(onnx_file_path, 'rb') as model: if not parser.parse(model.read()): for error in range(parser.num_errors): print(parser.get_error(error)) return None config.max_workspace_size = 1 << 30 # 设置最大工作空间大小 return builder.build_serialized_network(network, config) log = trt.Logger() serialized_engine = build_engine("/path/to/model.onnx", log) with open("/path/to/engine.trt", "wb") as f: f.write(serialized_engine) ``` 上述脚本展示了如何加载 ONNX 模型并通过 TensorRT 构建序列化后的 engine 文件。 #### 4. 学习资源推荐 对于希望深入理解 TensorRT 并应用于实际项目的开发者来说，《Deep Learning Inference with TensorRT》是一份非常有价值的指南材料。此外，在线社区论坛和技术博客也提供了大量实践经验分享，比如针对特定版本更新带来的新特性和最佳实践案例分析等内容值得查阅。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值