tensorrt官方int8量化方法汇总

已于 2023-10-25 10:47:26 修改
阅读量2.1k 收藏 16
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Deep Learning 文章标签： 深度学习 tensorrt
于 2023-08-08 15:38:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Suan2014/article/details/132168130
最低0.47元/天 解锁文章

200万优质内容无限畅学
利用Tensorrt实现int8量化
@bangbang的博客
09-18 2149
int8量化是利用int8乘法替换float32乘法实现性能加速的一种方法1.对于常规的模型有:y=kx+b,此时x,k,b都是float32,对于kx的计算使用float32的乘法2.对于int8模型有:y=tofp32(toint8(k)toint8(x))+b,其中int8int8结果为int 163 因此int8模型解决的问题是如何将float32合理转换为int8（合理的方法包括：KL散度，重新训练等），使得精度损失最小。
TensorRT INT8量化说明文档
qq_33287871的博客
04-25 1189
在这种模式下，TensorRT 仅针对性能进行优化，您几乎无法控制在哪里使用 INT8 - 即使您在 API 级别明确设置了层的精度，TensorRT 也可能在图优化期间将该层与另一层融合，并丢失它必须在 INT8 中执行的信息。给定激活张量的统计数据，决定最佳尺度值并不是一门精确的科学——它需要平衡量化表示中的两个误差来源：离散化误差（随着每个量化值表示的范围变大而增加）和截断错误（其中值被限制在可表示范围的限制范围内。当可改装的TensorRT引擎被改装时，Q/DQ节点的尺度可以被赋予新的值。
TensorRT-Int8量化详解
m0_71124168的博客
07-04 2299
Int8量化类似于一个黑盒子，有一点蒸馏的感觉，用int8逼近fp32的推理结果。我们只需要按照步骤设定好参数之后set就可以，并不需要特别关注于他是怎么修改权重的。
【TensoRRT】如何使用trtexec.exe进行INT8量化
浩瀚之水的专栏
06-19 613
摘要：本文详细介绍了使用trtexec.exe进行INT8量化的完整流程。主要包括：准备校准数据集（100-1000张代表性数据）、模型转换与参数设置、校准缓存生成、动态输入处理等核心步骤；性能测试方法（延迟、吞吐量）和精度验证标准（误差容忍度0.3%-1%）；常见问题解决方案（精度下降、校准失败、动态模型优化）；并以YOLOv5为例展示INT8量化可提升2.8倍速度、节省61%显存。最后推荐Polygraphy、NsightSystems等优化工具。适用于需要平衡推理速度与精度的深度学习部署场景。
TensorRT INT8 量化原理和实现
Levante_ceo的博客
03-06 2790
模型量化 = 模型 + 量化，两个词组成。在计算机视觉（深度学习）中，模型特指卷积神经网络，用于提取图像/视频特征。量化：将信号的连续取值近似为有限多个离散值的过程，即信息压缩的方法。常规精度一般使用FP32（32位浮点，单精度）存储模型权重；低精度（FP16，半精度浮点）；INT8（8位的定点整数）等数字格式。目前，低精度往往指代INT8，因此也称为“定点化（定点化指scale为2的幂次方线性量化，是一种更加实用的量化方法）”
7.TensorRT中文版开发教程-----TensorRT中的INT8量化详解
热门推荐
专注于人工智能领域的小何尚
04-30 1万+
7. 如何使用TensorRT中的INT8 点击此处加入NVIDIA开发者计划 7.1. Introduction to Quantization TensorRT 支持使用 8 位整数来表示量化的浮点值。量化方案是对称均匀量化 - 量化值以有符号 INT8 表示，从量化到非量化值的转换只是一个乘法。在相反的方向上，量化使用倒数尺度，然后是舍入和钳位。 要启用任何量化操作，必须在构建器配置中设置 INT8 标志。 7.1.1. Quantization Workflows 创建量化网络有两种工作流程： 训
yolov5 tensorrt int8量化方法汇总.zip
11-26
yolov5 tensorrt int8量化方法汇总說明yolov5官方模型应用时要做全局修改，原因如下本仓中的yolov5导出的onnx为动态batch本仓中的yolov5.onnx模型将NMS后处理添加到模型中，以方便在转换为tensorrt时，加快推理速度...
TensorRT模型量化实践
保持分享欲
09-01 2054
2. onnx导出为tensort engine时可以采用trtexec(注：命令行需加–int8，需要fp16和int8混合精度时，再添加–fp16)，比较简单；trtexec 有提供 --calib=接口进行校正，但需要对中间特征进行cache文件保存，比较麻烦，官方文档也是采用上述方式进行int8量化；1.导出onnx时，显存占用非常大；3.量化过程中发现，即使模型为动态输入，校正数据集使用时也必须与推理时的输入shape[N, C, H, W]完全一致，否则，效果非常非常差，动态模型慎用。
基于tensorrt的模型量化
xiaomu_347的博客
03-07 167
int8量化对小目标检测影响较大；int8量化相比fp16量化推理时间并不会节省一半，需实测；当fp16推理时间满足要求时，请采用fp16量化；参考链接：１.tensorrt官方int8量化方法汇总 - 知乎2Xavier中使用TensorRT的Python API对Pytorch模型进行FP16精度和INT8精度转换_tensorrt加速到fp16-优快云博客。
TensorRT部署YoloX：int8量化
weixin_45156863的博客
10-13 1161
使用基于tensorrt完成YoloX的int8量化工作，减小模型的内存占用和提高推理速度
tensorRT笔记九(int8量化)
nanjono的博客
06-16 935
实现int8熵校准器(Int8EntropyCalibrator类)，继承自属于nvinfer1的IInt8EntropyCalibrator2类，覆盖其中的一些函数，实现自己的需求。writeCalibrationCache：标定结束后，调用该函数，储存标定后的结果，多次标定可以使用该缓存实现加速。getBatch：告诉引擎，这次标定的输入数据是什么，把指针赋值给bindings，返回false说明已没有数据了。getBatchSize：告诉引擎，这次标定的batch大小。配置int8标定数据读取工具。
基于python的tensorrt int8 量化yolov5 onnx模型实现
03-26
基于python的tensorrt int8 量化yolov5 onnx模型实现
EfficientNetv2_TensorRT_int8:EfficientNetv2 TensorRT int8
04-07
EfficientNetv2_TensorRT_int8 EfficientNetv2模型实现来自 环境配置 ubuntu：18.04 cuda：11.0 cudnn：8.0 tensorrt：7.2.16 OpenCV：3.4.2 cuda，cudnn，tensorrt和OpenCV安装包可以从如下链接下载: 链接: 密码: b88e cuda安装 如果系统有安装驱动，运行如下命令卸载 sudo apt-get purge nvidia* 禁用nouveau，运行如下命令 sudo vim /etc/modprobe.d/blacklist.conf 在末尾添加 blacklist nouveau 然后执行 sudo update-initramfs -u chmod +x cuda_11.0.2_450.51.05_linux.run sudo ./cuda_11.0.2_450.5
【TensorRT】TensorRT的INT8校准原理
01-06
INT8校准就是原来用32bit（float32）表示的tensor现在用8bit来表示，并且要求精度不能下降太多。 将FP32转换为 INT8的操作需要针对每一层的输入tensor和网络学习到的参数进行。 但是不同网络结构的不同layer的激活值分布很不一样，因此合理的量化方式。应该适用于不同的激活值分布，并且减小信息损失。 使用相对熵（也叫KL散度）来衡量不同的INT8分布与原来的FP3F2分布之间的差异程度。 确定每一层的|T|值的过程称为校准。方法是从验证集选取一个子集作为校准集，校准集应该具有代表性，多样性，最好是验证集的一个子集，不应该只是分类类别的一小部分。激活值分布就是从校准
TensorRT 中的 INT8
luoganttcc的博客
10-19 1437
在处理隐式量化网络时，TensorRT 在应用图形优化时将模型视为浮点模型，并适时的使用 INT8 来优化层执行时间。在这种模式下，TensorRT 仅针对性能进行优化，您几乎无法控制 INT8 的使用位置——即使您在 API 级别明确设置层的精度，TensorRT 也可能在图优化期间将该层与另一个层融合，并丢失它必须在 INT8 中执行的信息。这在多次构建相同的网络时非常有用，例如，在多个平台上 – 特别是，它可以简化工作流程，在具有离散 GPU 的机器上构建校准表，然后在嵌入式平台上重用它。
量化番外篇 | TensorRT-8的量化细节
CV_Autobot的博客
03-10 1892
作者|Oldpan 编辑| oldpan博客点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群好久不见各位~这篇文章很久之前写完一直没有整理，最近终于是整理差不多了，赶紧发出来。本文接着《必看部署系列-神经网络量化教程：第一讲！》这一篇接着来说。上一篇主要说了量化的一些基本知识、为啥要量化以及基本的对称量化这些概念知识点。按理说应...
TensorRT INT8 量化YOLO模型—— python
old_power的博客
01-23 814
TensorRT 是 NVIDIA 提供的高性能深度学习推理库，支持 INT8 量化以加速模型推理。TensorRT 支持从 ONNX 格式的模型进行量化。首先需要将 YOLO 模型导出为 ONNX 格式。
基于tensorRT方案的INT8量化实现原理
alex1801
09-09 5681
声明：文章仅作知识整理、分享，如有侵权请联系作者删除博文，谢谢！ 转自：https://zhuanlan.zhihu.com/p/58182172 1 背景 1.1 行业背景 尽管模型size在不断地压缩，但是其计算量通常还是有一两百MFLOPS的样子，这个计算量对于目前的移动端CPU算力来说，还是有点吃力的，因此模型端做了最大的努力，我们移动端也要不甘示弱努力加油啊！ 通常移动端加速的方案时分CPU派跟GPU派的，目前在低端机型上arm的mali GPU性能惨不忍睹，所以基本配备的还是CPU
利用TensorRT实现INT8量化感知训练QAT
ZONGXP的博客
10-22 9813
深度学习正在彻底改变行业提供产品和服务的方式。这些服务包括用于计算机视觉的对象检测、分类和分割，以及用于基于语言的应用程序的文本提取、分类和摘要。这些应用程序必须实时运行。 大多数模型都采用浮点 32 位算法进行训练，以利用更大的动态范围。然而，在推理时，这些模型可能需要更长的时间来预测结果相比，精度降低推理，造成一些延迟的实时响应，并影响用户体验。 在许多情况下，最好使用精度降低的整数或 8 位整数。挑战在于训练后简单地四舍五入权重可能导致较低的模型精度，特别是当权重具有较大的动态范围时。本文简单..
yolov8改进汇总
最新发布
07-30
- **模型量化与剪枝**：通过TensorRT或ONNX工具进行INT8量化，压缩模型大小并提升推理速度。 这些方法通常结合使用，能显著提升mAP（mean Average Precision）指标。例如，损失函数优化可带来5-10%的精度提升[^2]...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

勤劳的凌菲

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值