TensorRt与模型量化

原创 于 2025-09-24 10:35:39 发布 · 358 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ai

部署运行你感兴趣的模型镜像

1) TensorRT 是什么，它解决什么问题？

TensorRT 是 NVIDIA 的深度学习推理 SDK，用来把训练好的模型优化并生成高性能的 GPU 推理引擎（Builder→Engine→ExecutionContext），主要目标是降低延迟与提高吞吐。

  1. Builder 是 TensorRT 中负责 构建（compile/optimize）推理网络 的对象。

主要工作

  • 解析网络结构（ONNX / API 定义）

  • 算子融合、层合并、内存复用优化

  • 精度选择（FP32 / FP16 / INT8）

  • tactic 选择（选择每个算子最优的实现 kernel，比如 cuDNN/cublas/cuTensor）

  • 创建 optimization profiles（动态 shape 的 min/opt/max 范围）

  1. Engine

ICudaEngine 对象，代表了一个 优化过的推理模型。
是一个“可执行的模型程序（类似一个二进制可执行文件）”。

它包含了：

  • 网络的拓扑结构

  • 内存分配（workspace / weights layout）

  • 选择好的算子实现（tactics）

  • 优化 profile（如果有动态输入）

特点

  • 不可修改（Engine 是优化后冻结的，不能再改算子/结构）

  • 可以 序列化 / 反序列化：

  • 序列化 → 保存为 .plan 文件

  • 反序列化 → 加载回来直接用，不用重新 build

  1. ExecutionContext

一个 Engine 可以创建多个 ExecutionContext → 支持多线程 / 并发推理

  1. ONNX 导出不通过怎么办？
  1. torch 和 onnx 版本
  2. 动态 shape / dynamic_axes 设置问题 -1（动态
  3. opset

3）如果量化（INT8）精度下降明显，你会怎么办？

  1. 混合精度（Fallback )
    不是所有层都必须 INT8，可以 只量化计算密集的层（卷积/全连接），其余保持 FP16/FP32。

  2. per-channel scale
    让每个通道都充分利用 INT8 的数值范围，避免某些通道的数值被压扁。

4）怎么评估量化效果？
精度层面：在验证集跑任务指标（分类 Top-1/Top-5，检测 mAP），量化前后对比精度下降幅度。

数值层面：计算输出张量的 MSE / Max Error / Cosine similarity，判断量化误差大小。

您可能感兴趣的与本文相关的镜像

TensorRT-v8.6

TensorRT-v8.6

TensorRT

TensorRT 是NVIDIA 推出的用于深度学习推理加速的高性能推理引擎。它可以将深度学习模型优化并部署到NVIDIA GPU 上，实现低延迟、高吞吐量的推理过程。

基于tensorrt的模型量化
xiaomu_347的博客
03-07 271
int8量化对小目标检测影响较大；int8量化相比fp16量化推理时间并不会节省一半，需实测；当fp16推理时间满足要求时，请采用fp16量化；参考链接：１.tensorrt官方int8量化方法汇总 - 知乎2Xavier中使用TensorRT的Python API对Pytorch模型进行FP16精度和INT8精度转换_tensorrt加速到fp16-优快云博客。
TensorRT量化模型分析（耗时分布可视化等）
qq_35435798的博客
09-05 1290
又难以解决掉点问题，则我们往往会分析模型的不同模块，找到哪个模块量化后导致掉点严重，然后这些模块将不再被插入量化算子，保持其原始的模型结构。无论哪种方式，都不可避免要进行模型耗时分析，比如，了解模型某个模块甚至某个节点的耗时情况，才能更加精确的指导模型缩减耗时的方向。文件（笔者这里仅写结论，具体内容可以由读者进入该脚本文件中阅读代码），该文件具体执行的动作，可以分解为以下所述内容。会看到如下图示，点击左上角的选项，能选择各类对比分析，比如不同精度计算量的占比，即可，根据问题，补充依赖包，完成安装。
TensorRT模型量化实践
保持分享欲
09-01 2593
2. onnx导出为tensort engine时可以采用trtexec(注：命令行需加–int8，需要fp16和int8混合精度时，再添加–fp16)，比较简单；trtexec 有提供 --calib=接口进行校正，但需要对中间特征进行cache文件保存，比较麻烦，官方文档也是采用上述方式进行int8量化；1.导出onnx时，显存占用非常大；3.量化过程中发现，即使模型为动态输入，校正数据集使用时也必须与推理时的输入shape[N, C, H, W]完全一致，否则，效果非常非常差，动态模型慎用。
TensorRT INT8 量化YOLO模型—— python
old_power的博客
01-23 1116
TensorRT 是 NVIDIA 提供的高性能深度学习推理库，支持 INT8 量化以加速模型推理。TensorRT 支持从 ONNX 格式的模型进行量化。首先需要将 YOLO 模型导出为 ONNX 格式。
tensorrt量化
weixin_44533869的博客
02-22 439
隐式量化：精度不可控， 存在某一层那个类型快就选择那一层。隐式量化通常指的是在不修改或微调模型权重的情况下，直接对模型进行量化。这种方法依赖于校准数据集来计算量化参数（如缩放因子和零点）。由于没有对模型进行进一步的训练或微调，量化后的模型精度可能不如原始浮点模型。特点无需微调：不需要对模型进行额外的训练或调整。简单快速：由于不需要微调，整个过程相对简单且快速。精度不可控：由于没有通过微调来优化量化参数，精度损失可能会较大，尤其是在某些层中表现尤为明显。校准过程。
TensorRT的两种INT8量化方式: QTA, PTQ
专注于人工智能领域的小何尚
03-27 2786
深度学习 (DL) 模型的训练阶段包括学习大量密集的浮点权重矩阵，这导致推理过程中需要进行大量的浮点计算。研究表明，可以通过强制某些权重为零来跳过其中许多计算，而对最终精度的影响很小。与此同时，之前的帖子表明较低的精度（例如 INT8）通常足以在推理过程中获得与 FP32 相似的精度。稀疏性和量化是流行的优化技术，用于解决这些问题，缩短推理时间并减少内存占用。
使用TensorRT LLM的量化实践
全世界的博客
11-26 3618
在深度学习的世界里，尤其是在大语言模型（LLM）的应用中，量化技术如同一位神奇的魔法师，能够将庞大的模型变得轻盈而高效。随着模型规模的不断扩大，如何在保证模型性能的前提下，减少计算和存储的需求，成为了研究者和工程师们亟待解决的问题。接下来，我们将深入探讨量化的定义与目的、对模型性能的影响，以及几种主要的量化方法。量化是指将模型中的浮点数参数（通常是32位浮点数）转换为较低位数的表示（如8位、4位等），以减少模型的存储需求和计算复杂度。简单来说，量化就是把“高大上的”浮点数变成“平易近人”的整数。
基于python的tensorrt int8 量化yolov5 onnx模型实现
03-26
本教程将详细介绍如何使用Python和TensorRT对YOLOv5 ONNX模型进行INT8量化，以提升其在实际应用中的性能。 首先，我们需要了解YOLOv5和ONNX。YOLOv5是一种流行的实时目标检测模型，基于Yolo（You Only Look Once）...
TensorRT中的模型量化技术详解
AI天才研究院
07-05 1247
在深度学习模型部署的世界里，性能与效率的平衡一直是开发者面临的核心挑战。TensorRT作为NVIDIA推出的高性能推理框架，其模型量化技术已成为解决这一挑战的关键方案。本文将带领读者深入探索TensorRT中的模型量化技术，从基础原理到实际部署，全面解析INT8量化的奥秘。我们将通过生动的比喻、直观的图表和可落地的代码示例，揭示如何在几乎不损失模型精度的前提下，将推理速度提升2-4倍，同时显著降低内存占用和功耗。
模型部署+目标检测YOLOv5+tensorrt加速 - int8量化
02-27
由于C++语言的运行优势，多数算法模型在实际应用时需要部署到C++环境下运行，以提高算法速度和... 2.C++环境下通过tensorrt进行模型导入和调用，过程中实现int8量化加速 适合刚开始部署模型的小白或者研究者，内附教程
TensorRT FP16 和 INT8 量化及关键问题点
Levante_ceo的博客
05-09 2044
一个线程需要两个内置的坐标变量(clockIdx，threadIdx)来唯一标识，他们都是dim3类型变量，其中blockIdx指明线程所在grid中的位置，二threadIdx指明线程所在的block中的位置;* 对于一个2-dim的block(Dx，Dy)，线程(x,y)的ID值为(x+y*Dx),如果是3-dim的block(Dx,Dy,Dz),线程(x,y,z)的ID值为(x+y*Dx+z*Dx*Dy);推断时，当优先考虑延迟时选择小的batch， 而优先考虑吞吐量时，选择大的batch。
【TensorRT】2、神经网络中的量化
呆呆的猫的博客
11-18 4791
本文主要介绍神经网络在部署时的量化
量化番外篇 | TensorRT-8的量化细节
CV_Autobot的博客
03-10 1984
作者|Oldpan 编辑| oldpan博客点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群好久不见各位~这篇文章很久之前写完一直没有整理，最近终于是整理差不多了，赶紧发出来。本文接着《必看部署系列-神经网络量化教程：第一讲！》这一篇接着来说。上一篇主要说了量化的一些基本知识、为啥要量化以及基本的对称量化这些概念知识点。按理说应...
TensorRT 神经网络量化流程
专注基础架构领域
02-24 1346
TensorRT量化工具，支持PTQ和QAT量化基本流程：读取模型-》转化为IR进行图分析，做一些优化策略一、TensorRT量化模式TensorRT有两种量化模式：分别是implicitly以及explicitly量化，前者是隐式量化，在7.0及之前版本用的较多；后者显式量化在8.0版本后才完全支持，就是可以加载带有QDQ信息的模型，然后生成量化版本的Engine；1、 与隐式量化相关性较繦的。
【TensorRT专栏】NVIDIA TensorRT 量化第一课：从FP32到INT8：量化到底在做什么？为什么它能让推理“飞”起来？
最新发布
小钻风的博客
08-16 1229
本文介绍了TensorRT中INT8量化的基本原理与应用。量化通过将FP32模型压缩为INT8格式，可减少75%内存占用并显著提升推理速度。文章详细解析了对称/非对称量化、逐层/逐通道量化等策略，以及量化的数学本质。同时指出量化会带来精度损失，需要校准数据集来优化。TensorRT提供了PTQ（训练后量化）和QAT（量化感知训练）两种模式，并支持自动处理不支持INT8的层。量化是性能与精度的权衡，需要结合具体场景找到平衡点。文末提供了开启INT8量化的示例代码和常见问题解答。
TensorRT的量化(踩坑经历)
weixin_45347035的博客
04-14 907
之前的一个blog()，记录了如何使用TensorRT构建CudaEngine并将其用于推理的内容，这一篇记录一下如何使用它的量化功能。因为我也是在探索过程中，所以某些概念或者解释可能存在误差，请各位看官指正，免得误导其他人。我们通常训练使用的是FP32，也就是一个32位的浮点数。当然我们这里不讨论他的具体内容，只考虑他的内存占用。我听得比较多的就是量化为FP16或者int8。这里也主要纪录这两种方法在TensorRT中如何来实现。这里为了方便，我给出上一个blog中，构建这一段代码包含创建。
利用TensorRT实现INT8量化感知训练QAT
热门推荐
ZONGXP的博客
10-22 1万+
深度学习正在彻底改变行业提供产品和服务的方式。这些服务包括用于计算机视觉的对象检测、分类和分割，以及用于基于语言的应用程序的文本提取、分类和摘要。这些应用程序必须实时运行。 大多数模型都采用浮点 32 位算法进行训练，以利用更大的动态范围。然而，在推理时，这些模型可能需要更长的时间来预测结果相比，精度降低推理，造成一些延迟的实时响应，并影响用户体验。 在许多情况下，最好使用精度降低的整数或 8 位整数。挑战在于训练后简单地四舍五入权重可能导致较低的模型精度，特别是当权重具有较大的动态范围时。本文简单..
TensorRT之yolov4模型量化
ZONGXP的博客
01-06 5301
0 背景 在《DeepStream5.0系列之yolov4使用》中我介绍过 deepstream 调用 yolov4 的方法，但是只支持 FP32 和 FP16 精度，如果要想调用 INT8 精度的 engine 模型，需要额外生成一个量化表。 本文是在 Jetson Xavier AGX 上部署测试，另外 NX 也支持 int8，其它型号的 jetson 就不要试了 1 环境配置 项目基于https://github.com/jkjung-avt/tensorrt_demos，因此先配置相关环境.
TensorRT INT8 量化YOLO模型
06-19
### 使用 TensorRT 对 YOLO 模型进行 INT8 量化 TensorRT 是 NVIDIA 提供的一个高性能深度学习推理库，支持模型的优化和部署。INT8 量化是一种降低模型精度的技术，通过将浮点数（FP32 或 FP16）转换为整数（INT8），可以显著减少模型的大小并提高推理速度，同时尽量保持模型的精度[^2]。 以下是一个使用 TensorRT 对 YOLO 模型进行 INT8 量化的教程： #### 1. 准备环境 确保安装了以下依赖项： - NVIDIA TensorRT - CUDA 和 cuDNN - Python 和相关库（如 NumPy、ONNX） ```bash pip install nvidia-pyindex pip install tensorrt ``` #### 2. 将 YOLO 模型导出为 ONNX 格式 TensorRT 支持 ONNX 格式的模型导入。如果原始模型是 PyTorch 格式，可以使用以下代码将其导出为 ONNX： ```python import torch import torch.onnx # 加载 PyTorch 模型 model = torch.load("yolo_model.pth") model.eval() # 导出为 ONNX 格式 dummy_input = torch.randn(1, 3, 640, 640) # 输入张量形状 torch.onnx.export(model, dummy_input, "yolo_model.onnx", opset_version=11) ``` #### 3. 使用 TensorRT 构建 INT8 引擎 以下是构建 INT8 引擎的步骤： ```python import tensorrt as trt def build_int8_engine(onnx_file_path, calibration_cache_path): TRT_LOGGER = trt.Logger(trt.Logger.WARNING) with trt.Builder(TRT_LOGGER) as builder, \ builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) as network, \ trt.OnnxParser(network, TRT_LOGGER) as parser: builder.max_workspace_size = 1 << 30 # 1GB builder.precision_mode = trt.PrecisionMode.INT8 # 配置校准器 def allocate_buffers(engine): inputs = [] outputs = [] bindings = [] stream = cuda.Stream() for binding in engine: size = trt.volume(engine.get_binding_shape(binding)) * engine.max_batch_size dtype = trt.nptype(engine.get_binding_dtype(binding)) host_mem = cuda.pagelocked_empty(size, dtype) device_mem = cuda.mem_alloc(host_mem.nbytes) bindings.append(int(device_mem)) if engine.binding_is_input(binding): inputs.append({'host': host_mem, 'device': device_mem}) else: outputs.append({'host': host_mem, 'device': device_mem}) return inputs, outputs, bindings, stream # 解析 ONNX 文件 with open(onnx_file_path, 'rb') as model: if not parser.parse(model.read()): print('Failed to parse the ONNX file.') for error in range(parser.num_errors): print(parser.get_error(error)) return None # 设置 INT8 校准器 class Int8EntropyCalibrator(trt.IInt8EntropyCalibrator2): def __init__(self, data_loader, cache_file): trt.IInt8EntropyCalibrator2.__init__(self) self.data_loader = data_loader self.cache_file = cache_file self.input_blob_name = "input_0" # 替换为实际输入名称 self.device_input = cuda.mem_alloc(self.data_loader.calibration_data[0].nbytes) def get_batch_size(self): return self.data_loader.batch_size def get_batch(self, names): try: batch = next(self.data_loader) cuda.memcpy_htod(self.device_input, batch) return [int(self.device_input)] except StopIteration: return None def read_calibration_cache(self): if os.path.exists(self.cache_file): with open(self.cache_file, "rb") as f: return f.read() def write_calibration_cache(self, cache): with open(self.cache_file, "wb") as f: f.write(cache) calib = Int8EntropyCalibrator(data_loader, calibration_cache_path) builder.int8_calibrator = calib # 构建引擎 engine = builder.build_cuda_engine(network) return engine ``` #### 4. 运行推理 构建好 INT8 引擎后，可以使用以下代码运行推理： ```python def infer(engine, input_data): inputs, outputs, bindings, stream = allocate_buffers(engine) with engine.create_execution_context() as context: inputs[0]['host'] = input_data [cuda.memcpy_htod_async(inp['device'], inp['host'], stream) for inp in inputs] context.execute_async_v2(bindings=bindings, stream_handle=stream.handle) [cuda.memcpy_dtoh_async(out['host'], out['device'], stream) for out in outputs] stream.synchronize() return [out['host'] for out in outputs] ``` #### 5. 校准数据集 为了生成校准缓存文件，需要准备一个小型校准数据集。该数据集应包含模型输入张量的样本。 ```python class DataLoader: def __init__(self, dataset_path, batch_size): self.dataset_path = dataset_path self.batch_size = batch_size self.calibration_data = self.load_data() def load_data(self): # 加载数据集并预处理 pass def __iter__(self): for i in range(0, len(self.calibration_data), self.batch_size): yield self.calibration_data[i:i+self.batch_size] ``` --- ### 注意事项 - INT8 量化可能会导致模型精度下降，因此需要仔细选择校准数据集以最小化精度损失。 - 校准过程是离线完成的，不会影响推理时的性能[^2]。 - 如果模型定义复杂，可能需要参考 PyTorch 的静态量化教程以更好地理解量化过程[^3]。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值