【TensorRT】 IOptimizationProfile 类深度解析

已于 2025-04-23 14:04:55 修改
阅读量601 收藏 7
点赞数 10
CC 4.0 BY-SA版权
分类专栏： 深度学习目标检测(YOLO)专栏 # Tensorrt框架 文章标签： tensorrt
于 2025-03-13 08:12:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a8039974/article/details/146212489

IOptimizationProfile 是 TensorRT 中管理动态输入形状优化配置的核心类，用于定义可变尺寸输入的最小、最优和最大范围，确保引擎在不同输入尺寸下的性能最优。以下从核心功能到实践应用全面解析：

​一、核心功能
​功能 ​说明
​动态形状定义 为动态维度（如Batch、宽高）设置 min/opt/max 范围
​性能优化 基于 opt 尺寸生成最高效内核，同时确保 min 和 max 范围内的兼容性
​内存预分配 根据 max 尺寸预留显存，避免运行时内存不足
​二、关键方法
​1. 设置动态维度

                

        

    

    
  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        


    



                



	

		

			

				
					
【TensorRT】 IBuilderConfig 类深度解析

				
			

			

				

					浩瀚之水的专栏
				

				

					03-12
					
					381
					
				

			

		

		

			
				
IBuilderConfig 是 TensorRT 引擎构建的配置中心，负责管理优化策略、硬件资源分配及精度设置。

			
		

	



                

            
              



	

		

			

				
					
【TensorRT】 ITensor 类深度解析

				
			

			

				

					浩瀚之水的专栏
				

				

					03-12
					
					397
					
				

			

		

		

			
				
ITensor 是 TensorRT 网络构建阶段的核心数据结构，用于表示神经网络中的数据张量​（输入、输出及中间特征图）

			
		

	



              


  
              

                


	

		

			

				
					
trex--TensorRT模型量化必用工具

				
			

			

				

					wugou2014的博客
				

				

					03-07
					
					1586
					
				

			

		

		

			
				
本文简单介绍了tensorrt的engine的可视化工具，方便查看模型量化效果

			
		

	





	

		

			

				
					
TensorRT-LLM保姆级教程（二）-离线环境搭建、模型量化及推理

				
			

			

				

					吃果冻不吐果冻皮
				

				

					12-04
					
					3407
					
				

			

		

		

			
				
接下来以Bloom模型为例，进行 TensorRT-LLM 开发实践。build.py：用于构建 TensorRT 引擎来运行Bloom模型。run.py：模型推理。：使用模型来总结 CNN Dailymail 数据集中的文章。：将HF格式的模型进行转换。支持 FP16支持 INT8 & INT4 仅权重量化支持 INT8 KV CACHE 量化支持SmoothQuant 量化支持张量并行大模型量化概述进行过简要概述，后续有时间更详细的梳理常见的一些大模型量化技术。

			
		

	



		

			
		



	

		

			

				
					
【模型部署】入门教程（七）：TensorRT 模型构建与推理

				
			

			

				

					qq_43456016的博客
				

				

					04-20
					
					2202
					
				

			

		

		

			
				
TensorRT 是由 NVIDIA 发布的深度学习框架，用于在其硬件上运行深度学习推理。TensorRT 提供量化感知训练和离线量化功能，用户可以选择 INT8 和 FP16 两种优化模式，将深度学习模型应用到不同任务的生产部署，如视频流、语音识别、推荐、欺诈检测、文本生成和自然语言处理。TensorRT 经过高度优化，可在 NVIDIA GPU 上运行， 并且可能是目前在 NVIDIA GPU 运行模型最快的推理引擎。关于 TensorRT 更具体的信息可以访问TensorRT官网了解。

			
		

	





	

		

			

				
					
TensorRT学习笔记--基本概念和推理流程

				
			

			

				

					牵一只蜗牛去散步
				

				

					01-11
					
					5925
					
				

			

		

		

			
				
② 在模型推理中，一般会将 Onnx 等格式的模型通过编译（build）生成推理引擎（engine），engine 可以通过序列化（serialize）的方式进行永久存储，永久存储的 engine 则可以通过反序列化（deserialize）的方式进行加载；① 基于 Tensor RT 进行模型的推理，从宏观上可分为三个阶段，即输入数据的前处理（preprocess）、模型推理（inference）和推理结果的后处理（postprocess）；① Logger：日志记录器，可用于记录模型编译的过程；

			
		

	





	

		

			

				
					
深度学习算法优化系列二十 | TensorRT 如何进行细粒度的Profiling

				
			

			

				

					I good vegetable a!
				

				

					03-17
					
					2929
					
				

			

		

		

			
				
1. 前言
今天我将以GoogleNet为例来展示一些TensorRT的优化方法，例子在F:\TensorRT-6.0.1.5\samples\sampleGoogleNet中。这里要展示的是TensorRT的16Bit推理以及基于层的Profiling。
2. 关键概念
下面来描述几个关键概率。

FP16。我们知道FP32指的是Full Precise Float 32，而FP16对应的就是F...

			
		

	





	

		

			

				
					
【TensorRT】 INetworkDefinition 类深度解析

				
			

			

				

					浩瀚之水的专栏
				

				

					03-12
					
					384
					
				

			

		

		

			
				
INetworkDefinition 是 TensorRT 模型构建的核心接口，用于定义神经网络的计算图结构。

			
		

	





	

		

			

				
					
【TensorRT】 TensorRT API函数分类解析

				
			

			

				

					浩瀚之水的专栏
				

				

					04-16
					
					83
					
				

			

		

		

			
				
TensorRT API 是用于构建、优化和部署深度学习推理引擎的核心工具链，其函数库涵盖模型解析、网络构建、优化配置、插件开发等多个环节。

			
		

	





	

		

			

				
					
TensorRT教程19：最佳实践：网络性能的分析与优化

				
			

			

				

					米斯特龙的博客
				

				

					07-25
					
					1100
					
				

			

		

		

			
				
最佳实践：网络性能的分析与优化
Profier计时网络性能时采用同步推理
测量每一层的运行时间
// profile类，继承自 IProfiler
struct Profiler : public IProfiler
{
    typedef std::pair<std::string, float> Record;
    std::vector<Record> mProfile;

    // 将每一层的运行时间存放到 vector中
    virtual void rep

			
		

	





	

		

			

				
					
【tensorRT文档翻译】7. Working With Dynamic Shapes

				
			

			

				

					Hali_Botebie的博客
				

				

					05-11
					
					1038
					
				

			

		

		

			
				
https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#work_dynamic_shapes
文章目录7.处理动态形状7.1. Specifying Runtime Dimensions7.2. Optimization Profiles7.2.1。 多个优化配置文件的绑定7.3. Layer Extensions For Dynamic Shapes7.4. Restrictions For Dynamic Sha

			
		

	





	

		

			

				
					
TensorRT模型推理笔记 一

				
			

			

				

					hukou6335490的博客
				

				

					07-07
					
					339
					
				

			

		

		

			
				
修改item.CopyFrom(newitem) #修改删除。

			
		

	





	

		

			

				
					
TensorRT动态形状（Dynamic Shape）出错，官方demo+自己模型运行时出错

				
			

			

				

					科软搬砖人
				

				

					07-02
					
					1403
					
				

			

		

		

			
				
TensorRT 10一个问题

			
		

	





	

		

			

				
					
tensorRT模型推理时动态shape

				
			

			

				

					Rolandxxx的博客
				

				

					11-05
					
					2344
					
				

			

		

		

			
				
和之前全连接的代码唯一的区别就是两个点，一个是网络结构的定义换成了CNN，另一个是动态shape的配置createOptimizationProfile。OptimizationProfile是一个优化配置文件，用来指定输入的shape可以变换的范围的，不要被优化两个字蒙蔽了双眼，其实就是为了告诉tensorRT我的shape是什么范围！在全卷积网络中我们通常就是有这个诉求的，推理时的shape是可以动态改变的，不一定要限制死，这个动态shape不一定只宽高，还指batchsize也是动态的。

			
		

	





	

		

			

				
					
13.TensorRT中文版开发教程-----TensorRT的最佳性能实践与性能调优

				
			

			

				

					专注于人工智能领域的小何尚
				

				

					05-10
					
					1万+
					
				

			

		

		

			
				
TensorRT的最佳性能实践

点击此处加入NVIDIA开发者计划
13.1. Measuring Performance
在开始使用 TensorRT 进行任何优化工作之前，必须确定应该测量什么。没有衡量标准，就不可能取得可靠的进展或衡量是否取得了成功
Latency
网络推理的性能度量是从输入呈现给网络到输出可用所经过的时间。这是单个推理的网络延迟。较低的延迟更好。在某些应用中，低延迟是一项关键的安全要求。在其他应用程序中，延迟作为服务质量问题对用户来说是直接可见的。对于批量处理，延迟可能根本不重要。

			
		

	





	

		

			

				
					
【TensorRT】动态batch进行推理

				
			

			

				

					豆芽菜
				

				

					07-25
					
					5024
					
				

			

		

		

			
				
模型训练时，每次训练可以接受不同batch大小的数据进行迭代，同样，在推理时，也会遇到输入Tensor大小(shape)是不确定的情况，其中最常见的就是动态batch了。

			
		

	





	

		

			

				
					
tensorrt 分割_TensorRT实战(三)——如何处理Dynamic Shapes

				
			

			

				

					weixin_39551462的博客
				

				

					12-21
					
					1390
					
				

			

		

		

			
				
本文归纳自英伟达TensorRT-7.2.1开发指南，感兴趣的朋友可以看下 TensorRT Developer Guide 的 Working With Dynamic Shapes 相关内容.steps for building an engine with dynamic shapes网络定义 (network definition) 必须是显式 Batch 定义IBuilder::crea...

			
		

	





	

		

			

				
					
8.TensorRT中文版开发教程-----如何在TensorRT中使用动态形状(Dynamic Shapes)

					
热门推荐

				
			

			

				

					专注于人工智能领域的小何尚
				

				

					05-02
					
					1万+
					
				

			

		

		

			
				
在TensorRT中使用动态形状(Dynamic Shapes)

点击此处加入NVIDIA开发者计划
动态形状(Dynamic Shapes) 是延迟指定部分或全部张量维度直到运行时的能力。动态形状可以通过 C++ 和 Python 接口使用。
以下部分提供了更详细的信息；但是，这里概述了构建具有动态形状的引擎的步骤：
1.网络定义不得具有隐式批次维度。
C++
通过调用创建INetworkDefinition
IBuilder::createNetworkV2(1U <<
        s

			
		

	





	

		

			

				
					
TensorRT优化

				
			

			

				

					bleedingfight的博客
				

				

					01-21
					
					3187
					
				

			

		

		

			
				
确保安装tensorrt
添加models/research在环境变量中

目标检测模型优化

优化测试

配置文件



  {
  &quot;source_model&quot;: {
    &quot;model_name&quot;: &quot;ssd_inception_v2_coco&quot;,
    &quot;output_dir&quot;: &quot;models&quot;
  },
  &am

			
		

	





	

		

			

				
					
c++  tensorrt推理模型

					
最新发布

				
			

			

				

					07-08
				

			

		

		

			
				
### TensorRT推理模型部署在C++中的实现与优化

TensorRT 是一个高性能的深度学习推理加速库，尤其适用于 NVIDIA GPU 平台。其 C++ API 提供了更底层、高效的接口，适合对性能要求较高的生产环境。以下是一个基于 C++ 的 TensorRT 推理模型部署示例，并结合常见的优化策略。

#### 1. 模型构建与序列化

在使用 TensorRT 进行推理前，需要将训练好的模型（如 ONNX 格式）转换为 TensorRT 引擎文件（`.engine`）。以下是一个基本的模型构建流程：

```cpp
#include <NvInfer.h>
#include <onnxparser/NvOnnxParser.h>

using namespace nvinfer1;

// 创建 TensorRT builder 和 network
IBuilder* builder = createInferBuilder(gLogger);
INetworkDefinition* network = builder->createNetworkV2(0);

// 解析 ONNX 模型
auto parser = nvonnxparser::createParser(*network, gLogger);
bool success = parser->parseFromFile("model.onnx", static_cast<int>(ILogger::Severity::kWARNING));
if (!success) {
    // 处理解析错误
}

// 配置 builder 参数
builder->setMaxBatchSize(1);
builder->setMaxWorkspaceSize(1 << 30);  // 1GB
builder->setFp16Mode(true);  // 启用 FP16 精度加速

// 构建引擎
ICudaEngine* engine = builder->buildCudaEngine(*network);

// 序列化并保存引擎
IHostMemory* serializedModel = engine->serialize();
std::ofstream outputFile("model.engine", std::ios::binary);
outputFile.write(reinterpret_cast<const char*>(serializedModel->data()), serializedModel->size());
```

#### 2. 推理执行流程

构建好 `.engine` 文件后，可以在运行时加载并进行推理：

```cpp
// 加载引擎
std::ifstream engineFile("model.engine", std::ios::binary);
engineFile.seekg(0, engineFile.end);
long int fsize = engineFile.tellg();
engineFile.seekg(0, engineFile.beg);
std::vector<char> engineData(fsize);
engineFile.read(engineData.data(), fsize);

IRuntime* runtime = createInferRuntime(gLogger);
ICudaEngine* engine = runtime->deserializeCudaEngine(engineData.data(), fsize, nullptr);

// 创建执行上下文
IExecutionContext* context = engine->createExecutionContext();

// 分配输入输出内存
void* buffers[2];
cudaMalloc(&buffers[0], inputBufferSize);
cudaMalloc(&buffers[1], outputBufferSize);

// 将输入数据拷贝到设备内存
cudaMemcpy(buffers[0], hostInputData, inputBufferSize, cudaMemcpyHostToDevice);

// 执行推理
context->executeV2(buffers);

// 将结果从设备拷回主机
cudaMemcpy(hostOutputData, buffers[1], outputBufferSize, cudaMemcpyDeviceToHost);

// 清理资源
cudaFree(buffers[0]);
cudaFree(buffers[1]);
context->destroy();
engine->destroy();
runtime->destroy();
builder->destroy();
network->destroy();
parser->destroy();
```

#### 3. 性能优化策略

- **FP16/INT8 精度加速**：通过启用 `setFp16Mode(true)` 或 `setInt8Mode(true)`，可以显著提升推理速度并降低显存占用[^3]。
- **批量处理（Batching）**：合理设置最大 batch size 可以提高吞吐量，但需权衡延迟和内存占用。
- **动态形状支持（Dynamic Shapes）**：对于输入尺寸不固定的场景，使用 `IOptimizationProfile` 设置动态维度范围。
- **内存复用与缓存管理**：利用 TensorRT 的内存池机制减少频繁的内存分配与释放。
- **多流并发（Concurrent Execution）**：使用 CUDA 流（streams）实现多个推理任务并行执行。

---

###

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
浩瀚之水_csdn

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值