【TensorRT】 ITensor 类深度解析

已于 2025-04-23 14:03:43 修改
阅读量397 收藏 5
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 深度学习目标检测(YOLO)专栏 文章标签： tensorrt
于 2025-03-12 18:58:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a8039974/article/details/146212342

ITensor 是 TensorRT 网络构建阶段的核心数据结构，用于表示神经网络中的数据张量​（输入、输出及中间特征图）。以下从功能到实践的全面解析：

​一、核心职责
​功能 ​说明
​数据描述 存储张量的元数据：维度（Dims）、数据类型（DataType）、名称（Name）
​网络连接 作为层（ILayer）的输入输出，构建计算图拓扑结构
​动态形状支持 支持动态维度（如-1或变量名），需配合IOptimizationProfile设置具体范围
​权重管理 表示常量张量（如卷积核权重、偏置项）
​二、关键属性与方法
​1. 基础属性获取
// 获取维度信息
nvinfer
了解本专栏 订阅专栏 解锁全文
【TensorRT】 INetworkDefinition 类深度解析
浩瀚之水的专栏
03-12 384
INetworkDefinition 是 TensorRT 模型构建的核心接口，用于定义神经网络的计算图结构。
NVIDIA Jetson YOLOv5 tensorRT部署和加速 C++版
黎国溥
05-12 8075
前言 在实现NVIDIA Jetson AGX Xavier 部署YOLOv5的深度学习环境，然后能正常推理跑模型后；发现模型速度不够快，于是使用tensorRT部署，加速模型，本文介绍C++版本的。 NVIDIA Jetson YOLOv5应用与部署_一颗小树x的博客-优快云博客 版本介绍：yolov5 v6.0、tensorrtx；Jetpack 4.5 [L4T 32.5.0]、CUDA: 10.2.89。 我测试了 kitti 数据集的100张图片：加速后每一张图像，平均推理时间是22ms
TensorRT 常用函数功能
ytusdc的博客
07-25 866
本节主要看每个函数功能解释，不一定是最优。
【TensorRT】动态batch进行推理
豆芽菜
07-25 5024
模型训练时，每次训练可以接受不同batch大小的数据进行迭代，同样，在推理时，也会遇到输入Tensor大小(shape)是不确定的情况，其中最常见的就是动态batch了。
【tensorRT文档翻译】7. Working With Dynamic Shapes
Hali_Botebie的博客
05-11 1038
https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#work_dynamic_shapes 文章目录7.处理动态形状7.1. Specifying Runtime Dimensions7.2. Optimization Profiles7.2.1。 多个优化配置文件的绑定7.3. Layer Extensions For Dynamic Shapes7.4. Restrictions For Dynamic Sha
4.4.tensorRT基础(1)-模型推理时动态shape的具体实现要点
周同学的博客
07-16 3747
4.4.tensorRT基础(1)-模型推理时动态shape的具体实现要点
TensorRt（2）快速入门介绍
热爱生活，忠于自己
11-27 2276
TensorRt的安装，不同环境下的安装不做介绍，注意不同版本对系统和软件版本的要求。先介绍tensorrt的常规开发周期流程：这个部分不属于TensorRt的内容范畴。通常训练网络模型使用高性能的服务器，使用的框架常见的有Tensorflow、pytorch、caffe、mxnet等。之后被TendorRt加载或转成换能够加载的模型格式。加载第三方模型（目前仅支持onnx、caffe、uff）进行模型编译并从多个方面优化，生成序列化的engine模型，以plan形式保存。
NVIDIA Jetson AGX Xavier YOLOv5 tensorRT部署和加速 C++版
黎国溥
01-09 679
前言 在实现NVIDIA Jetson AGX Xavier 部署YOLOv5的深度学习环境，然后能正常推理跑模型后；发现模型速度不够快，于是使用tensorRT部署，加速模型，本文介绍C++版本的。 版本介绍：yolov5 v6.0、tensorrtx；Jetpack 4.5 [L4T 32.5.0]、CUDA: 10.2.89。 前提参考：NVIDIA Jetson AGX Xavier YOLOv5应用与部署_黎国溥-优快云博客 我测试了 kitti 数据集的100张图片：加速后每一张图像，
用NVIDIA-TensorRT构造深度神经网络
吴建明wujianming_110117
06-18 571
用NVIDIA-TensorRT构造深度神经网络 Deploying Deep Neural Networks with NVIDIA TensorRT NVIDIA TensorRT是一个用于生产环境的高性能深度学习推理库。电源效率和响应速度是部署的深度学习应用程序的两个关键指标，因为直接影响用户体验和所提供服务的成本。Tensor RT为运行时性能自动优化训练的神经网络，在Tesla P100 GPU上提供高达16倍的能效（性能/瓦），而普通的CPU专用深度学习推理系统（见图1）。图2显示了NVIDIA
1.转onnx ，dynamic 2.转trt，batch 3.execution_context-＞setBindingDimensions(0, input_dims)；
weixin_69890276的博客
05-26 202
yolo ,trt ,多batch
C++ 实际应用总结的onnx转engine并推理的代码（基于去噪网络）
adsfasfZF的博客
08-25 2739
由于需要对去噪网络加速推理，部署到英伟达开发板，花费了一周多的时间学习C++语法和**onnx转engine**流程。这里总结了**onnx转engine并推理**的全过程
【代码分析】TensorRT sampleMNIST 详解
HaoBBNuanMM的博客
11-04 4548
目录 前言 代码分析 Main入口 网络构建（build）阶段 网络推理(infer) 阶段 释放资源 前言 TensorRT的”hello world“程序sampleMNIST是众多TensorRT初学者很好的起点，本文旨在详细分析sampleMNIST的代码，从实践出发帮助理解TensorRT的相关概念、与cuda的关系、以及核心API的使用。 代码分析 ...
TensorRT(8):动态batch进行推理
热门推荐
hjxu2016的博客
08-19 1万+
TensorRT系列传送门(不定期更新): 深度框架|TensorRT 文章目录一、引言二、TRT在线加载模型，并序列化保存支持动态batch的引擎 一、引言 模型训练时，每次训练可以接受不同batch大小的数据进行迭代，同样，在推理时，也会遇到输入Tensor大小(shape)是不确定的情况，其中最常见的就是动态batch了。 动态batch，故名思意，就是只batch大小不确定的情况，比如这次推理了一张图像，下次推理就需要同时推理两张图像。 在Tensorflow中，定义一个动态batch的Ten.
tensorrt 高级(1):完整的分类器实现
@bangbang的博客
09-15 1132
这里input_batch，input_channel，input_height，input_width可以从egine中获取，这里为了方便直接写死了。6） 推理完后，将out_put_device数据拷贝到out_put_host中，并执行流同步，等待所有操作结束。有了onnx文件，就可以利用tensorrt进行分类模型的推理了，在推理前需要配置好。，就是需要的分类概率值,然后拿到label，以及对应的confidence。1 ) 分配存储输入图片的空间，包括device和host。
tensorrt 分割_TensorRT实战(三)——如何处理Dynamic Shapes
weixin_39551462的博客
12-21 1390
本文归纳自英伟达TensorRT-7.2.1开发指南，感兴趣的朋友可以看下 TensorRT Developer Guide 的 Working With Dynamic Shapes 相关内容.steps for building an engine with dynamic shapes网络定义 (network definition) 必须是显式 Batch 定义IBuilder::crea...
TensorRT part2 python version
疯狮子的博客
08-31 1259
TensorRT part2 python version 总结上文 在进入第二部分前，对第一部分的业务流程做一个总结： 创建流程图 推理流程图 pyversion 1.1 通过python使用TensorRT 只简单说明从tensorflow导入模型 import tensorrt as trt from tensorrt.parsers impo...
【TensorRT】记一次使用C++接口TensorRT部署yolov5 v6.1模型的过程
ChunjieShan的博客
08-02 7083
使用C++接口的TensorRT部署YOLOv5 v6.1模型
TensorRT Samples: GoogleNet
网络资源是无限的
11-20 3602
TensorRT Samples: GoogleNet
TensorRT7 Onnx模型动态多batch问题解决
weixin_45415546的博客
08-31 9641
升级到Tensort7, ONNX模型创建网络和预测都需要用V2版本。 创建模型 const auto explicitBatch = 1U << static_cast<uint32_t>(NetworkDefinitionCreationFlag::kEXPLICIT_BATCH); INetworkDefinition *network = builder->createNetworkV2(explicitBatch); // 创建TensorRT网络
tensorRT tegra
最新发布
03-27
### NVIDIA Tegra 平台上的 TensorRT 安装与使用 #### 一、TensorRT 的基本概念 TensorRT 是一种高性能深度学习推理库，专为优化和加速 AI 推理而设计。它能够显著提升模型的运行效率并降低延迟时间[^1]。 --- #### 二、Tegra 平台上 TensorRT 的安装方法 ##### 1. 使用 DeepStream SDK 提供的基础容器环境 DeepStream SDK 基于 L4T (Linux For Tegra)，提供了预构建的 Docker 镜像来简化开发流程。通过这些镜像可以直接获取到支持 TensorRT 的环境设置[^2]。 - **启动基础镜像** ```bash docker run --gpus all --name=jetson_test \ --privileged --ipc=host -p 23222:22 -p 34389:3389 \ -itd -v /data/yzm_iavs/:/data/yzm_iavs \ nvcr.io/nvidia/deepstream-l4t:5.0.1-20.09-samples /bin/bash ``` 上述命令会拉取一个包含最新版本 TensorRT 和其他必要工具链的官方镜像，并挂载指定目录用于数据交换。 - **更换国内源地址（可选）** 如果遇到网络连接问题，则可以替换默认仓库位置至更稳定的服务器节点上完成同步操作: ```bash sed -i 's|http://deb.debian.org|https://mirrors.tuna.tsinghua.edu.cn|' /etc/apt/sources.list.d/nvidia-l4t-apt-source.list && apt-get update ``` --- ##### 2. 手动编译安装方式 对于某些特殊需求场景下可能需要自行下载源码包重新定制化生成适合目标硬件架构下的动态链接库文件(.so)[^1]: - 下载对应分支标签号所对应的 tar.gz 归档压缩文档； ```bash wget https://developer.nvidia.com/tensorrt/download -O tensorrt.tar.gz tar xfz tensorrt.tar.gz cd TensorRT-<version> make install DESTDIR=/usr/local/ ldconfig ``` 注意此过程依赖多个第三方组件如 cuDNN 等均需提前准备好相应版本匹配关系表以便顺利执行完毕整个环节工作流. --- #### 三、C++ 中调用 TensorRT 实现 YOLOv5 加速案例分析 以下是基于 C++ 编写的简单示例程序框架结构图解： ```cpp #include "NvInfer.h" // ... other includes ... int main() { // 创建 Logger 对象实例记录日志消息输出控制台窗口显示状态信息给开发者查看调试方便快捷直观明了易懂好理解掌握起来相对容易很多哦亲们😊 nvinfer1::ILogger logger; // 构建 Builder 类型指针变量指向实际内存空间分配区域大小范围内的对象实体存在形式表现出来供大家共同探讨研究学习进步成长成才之路越走越宽广无限美好未来等着我们一起去探索发现创造奇迹呢😄 auto builder = std::unique_ptr<nvinfer1::IBuilder>(nvinfer1::createInferBuilder(logger)); // 设置最大批处理数量参数值以及精度模式选项开关标志位决定最终效果呈现出来的样子风格各异各有千秋值得尝试一番哟😉 const int batchSize = 1; builder->setMaxBatchSize(batchSize); builder->setMinPrecisionMode(nvinfer1::DataType::kHALF); // 添加输入张量描述定义形状维度顺序排列规则等内容细节部分非常关键重要务必认真对待仔细阅读相关资料文献书籍教程视频课程等等资源材料充分吸收消化转化为自己的知识体系加以运用实践检验真理标准唯一途径就是行动起来了💪 nvinfer1::INetworkDefinition* network = builder->createNetworkV2(0U); nvinfer1::ITensor* data = network->addInput("input", nvinfer1::DataType::kFLOAT, {batchSize, 3, INPUT_H, INPUT_W}); // 导入 ONNX 文件解析转换成为内部表示形式便于后续进一步加工改造升级换代创新突破自我超越极限挑战不可能变成可能实现质变飞跃发展成就辉煌伟业梦想照进现实光芒万丈照亮前行道路方向指引灯塔永不熄灭永恒闪耀璀璨星空之中🎉✨ onnxParser::IParser* parser = onnxParser::createParser(*network, logger); bool success = parser->parseFromFile(onnxModelPath.c_str(), static_cast<int>(verbosity)); delete parser; // 序列化保存引擎文件加快下次加载速度减少重复计算浪费宝贵时间精力成本投入产出比最大化原则始终牢记心中践行不渝坚定不移动摇信念追求卓越品质至上服务客户满意为止宗旨使命担当责任重于泰山压力越大动力越足勇往直前无惧风雨彩虹终会出现天空尽头等待着拥抱胜利果实甜蜜滋味享受其中乐趣无穷尽也😎🌈 nvinfer1::ICudaEngine* engine = builder->buildCudaEngine(*network); serializeAndSaveEngine(engine,"yolov5.engine"); return 0; } ``` 以上代码片段展示了如何利用 TensorRT API 来创建神经网络模型并将其序列化存储下来以备将来快速恢复使用的典型应用场景之一。 --- #### 四、常见注意事项 - 确保主机端已正确安装 CUDA 工具集及其驱动程序版本满足最低兼容性要求。 - 如果计划跨不同设备之间迁移部署解决方案的话还需要额外考虑 ABI(Application Binary Interface)一致性保障措施防止潜在冲突隐患发生影响正常使用体验满意度下降等问题出现。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浩瀚之水_csdn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值