【TensorRT】 ICudaEngine 类深度解析

已于 2025-04-23 13:59:36 修改
阅读量297 收藏 9
点赞数 4
分类专栏： 深度学习目标检测(YOLO)专栏 # Tensorrt框架 文章标签： tensorrt
于 2025-03-12 18:44:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a8039974/article/details/146211968
版权

ICudaEngine 是 TensorRT 推理流程的核心载体，封装了优化后的计算图、内核函数及内存分配策略。以下从功能到实践全面解析其关键点：

​一、核心职责
​功能 ​说明
模型执行载体 包含优化后的计算图、层实现及内存规划
资源管理 管理模型运行所需的GPU内存、CUDA流等资源
元数据访问 提供输入/输出张量信息（名称、维度、数据类型）
上下文创建 生成多个执行上下文（IExecutionContext）支持并行推理
​二、关键方法详解
​1. 基础信息获取
// 获取引擎输入/输出数量
int numInputs = engine->getNbBindings() / 2;  // 假设每个绑定有输入和输出

// 获取张量名称及维度
const char* name = engine->getBindingName(bindingIndex);
nvinfer1::Dims dims
了解本专栏 订阅专栏 解锁全文
【TensorRT】TensorRT学习笔记之ICudaEngine类
浩瀚之水的专栏
04-17 35
ICudaEngine 是TensorRT优化后的推理引擎，包含经过层融合、内存优化和精度调整的模型，可直接在GPU上执行推理。
TensorRT创建Engine并推理engine
bobchen1017的博客
04-04 4214
推理YOLOV4人员检测
TensorRT构建的engine文件用途
qq_43298381的博客
10-23 576
1. 加速推理：通过优化模型的计算图和使用高效的算子实现，TensorRT engine可以显著提高模型推理的速度。2. 降低延迟：对于需要实时响应的应用，如自动驾驶和视频分析，TensorRT engine可以减少推理过程中的延迟。10. 精度校准：TensorRT提供了精度校准工具，可以在保持推理速度的同时，对模型的精度进行优化。总的来说，TensorRT engine是实现深度学习模型在NVIDIA硬件上高效推理的关键组件，它通过一系列的优化技术，使得模型在实际应用中能够快速、准确地运行。
TensorRT安装与engine生成
不积跬步，无以至千里！
10-24 1928
TensorRT性能优化
tensorRT踩坑日常之engine推理
chaocainiao的博客
04-21 5759
tensorRT踩坑日常之engine推理 再进行tensorRT进行推理之前，需要将训练好的模型转onnx再进行序列化生成engine，然后反序列化context推理 此文章是进行序列化生成engine和推理的，不知道如何生成engine和onnx的小伙伴可以参考另一篇博客 https://blog.youkuaiyun.com/chaocainiao/article/details/124197430?spm=1001.2014.3001.5502 废话不多说，开始进入正题，上代码 # 初始化(创建引擎，为输入
【TensorRT】 IGpuAllocator 类深度解析
浩瀚之水的专栏
03-13 521
IGpuAllocator 是 TensorRT 中用于自定义 GPU 内存分配策略的接口，允许开发者接管 TensorRT 的内存管理逻辑，适用于需要精细控制显存使用的场景。
【TensorRT】 IOptimizationProfile 类深度解析
浩瀚之水的专栏
03-13 538
IOptimizationProfile 是 TensorRT 中管理动态输入形状优化配置的核心类，用于定义可变尺寸输入的最小、最优和最大范围，确保引擎在不同输入尺寸下的性能最优。
【TensorRT】 INetworkDefinition 类深度解析
浩瀚之水的专栏
03-12 358
INetworkDefinition 是 TensorRT 模型构建的核心接口，用于定义神经网络的计算图结构。
【TensorRT】 IBuilderConfig 类深度解析
浩瀚之水的专栏
03-12 323
IBuilderConfig 是 TensorRT 引擎构建的配置中心，负责管理优化策略、硬件资源分配及精度设置。
TensorRT学习（3）：加载engine文件进行推理
农夫的博客
03-21 5968
1. 加载pointNet引擎文件并创建引擎对象 // 加载引擎文件 std::string engine_name = "./pointnet.engine"; std::ifstream file(engine_name, std::ios::binary); if (!file.good()) std::cerr << "文件无法打开，请确定文件是否可用！" << std::endl; size_t size = 0; file.seekg(0, file.end
TensorRT教程5：创建engine的基本步骤
米斯特龙的博客
06-27 2846
创建engine的基本步骤 1、从头定义网络创建engine的9个基本步骤 step1：创建logger step2：创建builder step3：创建network step4：向network中添加网络层 step5：设置并标记输出 step6：创建config并设置最大batchsize和最大工作空间 step7：创建engine step8：序列化保存engine step9：释放资源 2、解析模型创建engine的10个基本步骤 step1：创建logger step2：创建builder st
tensorRT部署之 代码实现 onnx转engine/trt模型
yohnyang的博客
06-22 2716
tensorRT部署之 代码实现 onnx转engine/trt模型
TensorRT Plugin + Engine 多模型调度：多任务部署的性能优化策略
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-12 714
在真实 AI 工程项目中，往往不仅需要部署一个模型，而是多个任务模型（如识别 + 检测 + 分割 + OCR）协同运行，甚至每个模型都使用了不同的精度（FP16/INT8）、不同的输入维度，甚至包含自定义 Plugin。 > 本文将深入讲解如何在 TensorRT 中实现 **多模型 Engine 并行部署、调度与资源优化**，包括多 Stream 执行、多上下文管理、显存复用策略、Engine 缓存池设计，以及 Triton / Python / C++ 多种部署方式对比，帮助你构建真正工业级可交付的
3、TensorRT学习笔记之ONNX转engine
NOZhengYuan的博客
04-25 2922
主要讲解了ONNX转TensorRT流程、代码。
TensorRt（2）快速入门介绍
热爱生活，忠于自己
11-27 2226
TensorRt的安装，不同环境下的安装不做介绍，注意不同版本对系统和软件版本的要求。先介绍tensorrt的常规开发周期流程：这个部分不属于TensorRt的内容范畴。通常训练网络模型使用高性能的服务器，使用的框架常见的有Tensorflow、pytorch、caffe、mxnet等。之后被TendorRt加载或转成换能够加载的模型格式。加载第三方模型（目前仅支持onnx、caffe、uff）进行模型编译并从多个方面优化，生成序列化的engine模型，以plan形式保存。
记录两种创建tensorrt engine的方式，原生API+基于onnxparser。以AlexNet为例。
weixin_37753389的博客
05-07 1097
通俗易懂，2024最新内部版，学完即就业！TensorRT 教程 | 基于 8.2.3 版本 | 第一部分_哔哩哔哩_bilibili。方式二：使用OnnxParser，解析onnx权重文件创建network。执行main函数，运行时加-s参数指定序列化操作。方式一：使用原生API，自行搭建网络。导入库以及定义全局变量。
解决tensorrt加速ICudaEngine* build_engine(unsigned int, nvinfer1::IBuilder*, nvinfer1::IBuilderConfig*,
qq_39492314的博客
07-04 1214
tensorrt加速出现的编译问题
CUDA：engine与context（附示例代码
Vingnir的博客
03-12 897
用于处理实际的推理请求。这种设计允许同一个引擎（模型）被用于多个并行的推理任务，每个任务使用各自的执行上下文。提供了执行模型所需的所有信息和资源，而 IExecutionContext。则利用这些信息来进行实际的推理运算。在实际使用中，通常首先从 .plan。，然后从这个引擎创建一个或多个 IExecutionContext。将plan文件读到engineFile中。获取的是构建引擎时设置的原始张量形状。获取的是当前推理过程中的张量形状，总的来说，ICudaEngine。如果有plan文件存在的情况下。
tensorRT加速
02-23
### 使用 TensorRT 加速深度学习模型推理 为了利用 TensorRT 提升深度学习模型的性能，在 GPU 上部署应用程序可以显著提高吞吐量并降低延迟。具体流程涉及几个关键步骤。 #### 将 PyTorch 模型转换为 ONNX 格式 首先，需将训练好的 PyTorch 模型导出到中间表示形式——ONNX (Open Neural Network Exchange)，这一步骤使得不同框架间的模型交换变得容易[^1]： ```python import torch.onnx from model import MyModel # 用户定义的模型类 model = MyModel() dummy_input = torch.randn(1, 3, 224, 224) # 输入张量形状取决于实际需求 torch.onnx.export(model, dummy_input, "mymodel.onnx", opset_version=11) ``` #### 导入 ONNX 至 TensorRT 并创建优化器实例 接着，加载上述保存下来的 `.onnx` 文件至 TensorRT 中，并构建一个高效的执行计划。此过程中会自动应用多种优化技术以适应目标硬件特性: ```cpp #include <NvInfer.h> // ... 初始化省略 ... nvinfer1::IBuilder* builder = nvinfer1::createInferBuilder(logger); builder->setMaxBatchSize(max_batch_size); builder->setMaxWorkspaceSize(workspace_size); // 解析 ONNX 文件 auto network = parser->parseFromFile(onnx_model_path.c_str(), verbosity_level); if (!network){ std::cerr << "Failed to parse the ONNX file." << std::endl; } // 构建引擎 nvinfer1::ICudaEngine* engine = builder->buildCudaEngine(*network); parser->destroy(); builder->destroy(); ``` #### 应用 INT8 或 FP16 精度模式进一步提速 对于某些应用场景而言，采用较低精度的数据类型如 INT8 可带来额外的速度增益而不明显牺牲准确性。TensorRT 支持这些低精度计算方式，允许开发者根据具体情况选择最合适的配置方案[^2]。 #### 部署与测试 最后阶段是在生产环境中部署经过优化后的模型，并对其进行充分验证确保其行为符合预期。此时可借助 `trtexec` 工具快速完成初步评估工作[^3]。 ```bash trtexec --onnx=mymodel.onnx --saveEngine=mymodel.trtengine \ --workspace=1024 --fp16 --int8 --batch=1 ``` 以上即是从准备到最终部署整个过程的大致描述，展示了怎样有效运用 TensorRT 来增强基于GPU 的深度学习推断效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浩瀚之水_csdn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值