【量化】Post-Training Quantization for Vision Transformer

最新推荐文章于 2025-10-15 19:11:24 发布
原创 最新推荐文章于 2025-10-15 19:11:24 发布 · 2k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #人工智能 #深度学习

这是一篇北大与华为诺亚方舟实验室联合在2021年联合发表的论文，已经被2022年的cvpr收录。

github地址：https://github.com/hahnyuan/PTQ4ViT

ViT量化的难点：

如何找到合适的量化间隔？

如何在量化时保持self-attention map的相对位置？

是否可以混合精度地量化？

第一个和第三的问题更具一般性，作者提出的trick理论上来说可以泛化到其它网络中。

标准的transformer层有两个模块：Multi-head self attention（MSA）和Multi-layer perceptron（MLP）：

 

其中：

 

最低0.47元/天 解锁文章
【量化】PTQ4ViT: Post-Training Quantization Framework for Vision Transformers
Treasure Ashes
07-18 1897
作者的idea来源于对ViT中激活值的分布的观察，以及对不同评估量化误差的指标对比的观察。
Post-Training-Quantization（PTQ）
qq_44089890的博客
04-08 2693
Post-Training-Quantization（PTQ）是一种在训练后对量化进行的技术，它可以将原始的浮点模型转换为适合于边缘设备的低比特宽度（如8位或4位）的固定点模型。该技术可以减小模型的大小，并且可以在一定程度上加速模型的推理速度。PTQ通常分为以下几个步骤：训练模型：首先需要使用浮点模型在大规模数据集上进行训练，以获得高精度的模型。收集统计信息：在训练后，需要使用代表性数据集来收集模型的统计信息，例如权重的最大值和最小值，激活值的分布等。
从实验室到业务：遥感ViT模型的轻量化与部署实践
最新发布
panshengwu的博客
10-15 943
本文将系统性地解决这一难题，为您提供一套完整的ViT轻量化与部署解决方案。我们将深入探讨三大核心轻量化技术：知识蒸馏、模型剪枝和量化，并辅以PyTorch代码实现。随后，我们将讲解如何将PyTorch模型导出为通用的ONNX格式，并利用业界顶尖的推理引擎——NVIDIA TensorRT和Intel OpenVINO——来极致压榨硬件性能。最后，我们将通过实战案例，展示如何将优化后的模型封装成云端API服务（使用FastAPI和Docker）以及部署到边缘设备（如NVIDIA Jetson）。
VIT quantization相关论文阅读
weixin_42638415的博客
10-19 2269
这里采用svd分解，奇异值分解得到的奇异值的和就是矩阵的核范数，可以表述这个矩阵的数据相关性，本文用这个核范数来表征量化的敏感程度，用来作为混合精度Bit-width设置的依据.主要思想：根据bit-width变化造成的二阶扰动来对不同bit-width配置进行排序，排序的指标如下：给定一个目标的model size，根据上述的指标对不同bit-width配置进行排序，然后选取最小扰动的配置。对于softmax来说，也就是说R1对应的是小的，采用2k-1量化，优化R1，同时为了方便计算，
TensorFlow - Post-training quantization
程永强
12-23 658
TensorFlow - Post-training quantization TensorFlow https://github.com/tensorflow/tensorflow TensorFlow - lite https://github.com/tensorflow/tensorflow/tree/master/tensorflow/lite tensorflow/lite/g3doc/performance https://github.com/tensorflow/tensorflow/tr
TensorFlow Lite post-training quantization (PTQ，训练后量化)
程永强
03-20 4272
TensorFlow Lite post-training quantization (PTQ，训练后量化) Post-training quantization (PTQ) is a conversion technique that can reduce model size while also improving CPU and hardware accelerator latency, with little degradation in model accuracy. You can quant
NeurIPS 2021 Transformer部署难？北大&华为诺亚提出Vision Transformer的后训练量化方法...
我爱计算机视觉
10-20 1222
关注公众号，发现CV技术之美本文分享 NeurIPS 2021 论文『Post-Training Quantization for Vision Transformer』，由北大&...
AAAI 2025 | 中山大学提出AIQViT：面向视觉Transformer的结构感知后训练量化方法
Paper weekly
02-11 1136
©PaperWeekly 原创 ·作者 |姜润青单位 |中山大学博士生研究方向 |模型压缩与加速训练后量化（PTQ）已成为降低 Vision Transformers（ViTs）存储和计算成本的重要方法之一。现有方法主要聚焦量化器的设计来处理 ViTs 中的激活值，然而这些方法低估了权重量化带来的信息损失，导致性能退化，特别是在低比特量化情况下。此外，这些方法大多采用对数变换来量化 ViT...
模型量化（二）—— 训练后量化PTQ（全代码）
热门推荐
全栈O-Jay的博客
03-13 1万+
训练后量化（Post-training Quantization，PTQ）是一种常见的模型量化技术，它在模型训练完成之后应用，旨在减少模型的大小和提高推理速度，同时尽量保持模型的性能。训练后量化对于部署到资源受限的设备上，如移动设备和嵌入式设备，特别有用。
模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）
博学而笃志，切问而近思。
11-12 2902
模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）
Post-Training Quantization, PTQ
m0_67450301的博客
03-19 603
Post-Training Quantization（PTQ） 是 模型训练完成后，对其参数（权重 & 激活值）进行量化 的方法，目的是 减少存储占用 & 提高推理速度，同时尽可能保持模型精度。相比于 量化感知训练（Quantization-Aware Training, QAT），PTQ 不需要重新训练模型，而是 直接对训练好的模型进行量化转换，适用于 推理优化。现代深度学习模型（如 Transformer、CNN）通常采用 FP32（32-bit 浮点数） 存储权重和计算数据，这会带来以下问题：✨ PT
post_training_quantization_with_TFLite
03-06
使用TensorFlow Lite对机器学习模型进行训练后量化 该项目是学士学位论文主题的实际实施。 该主题的任务是使用TensorFlow Lite分别使用TensorFlow Lite提供的训练后量化技术来优化两个专注于图像分类和语义分割的机器学习模型。 对模型进行量化/优化后，在笔记本电脑（基于Intel处理器）和Raspberry Pi 4（基于ARM处理器）上使用未优化和优化的模型进行推理。 在以两个模型的量化/非量化格式进行推理后，将推理结果进行比较。
模型压缩之post-training quantization
qq_43258953的博客
01-07 6217
一，post-training quantization的工作原理 在底层，通过将参数（即神经网络权重）的精度从训练时的32位浮点表示降低到更小、更高效的8位整数表示来运行优化（也称为量化）。 post-training量化指南：https://www.tensorflow.org/performance/post_training_quantization这些优化将确保将最终模型中精度降低的操作...
量化 | Posting-training quantization
qq_38844835的博客
10-10 394
量化 训练后量化可以在改善 CPU 和硬件加速器延迟的同时缩减模型大小，且几乎不会降低模型准确率。 动态范围 / 全整数 / float16量化 Technique Benefits Hardware Dynamic range quantization 4x smaller, 2x-3x speedup CPU Full integer quantization 4x smaller, 3x+ speedup CPU, Edge TPU, Microcon
tensorflow2.0 Post-training quantization
Chown先森
12-25 3127
因为tensorflow2.0版本对比tensorflow1.0版本变化较大，所支持的量化方式方法都有所改变，所以重新写一篇文档记录。 先附上官方文档： https://www.tensorflow.org/lite/performance/post_training_quantization?hl=en 因为tf2.0已经不更新aware-quantization，所以这篇文章重点简...
[学习笔记]Post-training Quantization on Diffusion Models
qq_45747799的博客
10-10 1141
训练后量化 (PTQ) 算法将训练过的 FP32 网络直接转换为定点计算的网络，过程中无需对原始模型进行任何训练。只对几个超参数调整就可完成量化过程，量化模型以一种更有效的计算方式进行模型推理。量化后模型中的参数使用低 bit 表示，在数据搬移时降低了带宽要求，在计算过程中一般硬件对于低 bit 整形数据具有更高的标称算力，因此模型量化的优化方案在多数情况下可获得较大的推理速度提升，此方法已被广泛应用于大量的端侧和云侧部署场景。
【译】Post-training 量化
weixin_33862041的博客
12-27 860
Post-training 量化 Post-training 量化是一种可以减小模型大小，同时降低 3 倍延迟并且仍然能够保持模型精度的一般方法。Post-training量化将权重从浮点量化为 8 位精度。此技术在 TensorFlow Lite model converter 中作为一个功能选项被使用。 import tensorflow as tf converter = tf.contri...
TfLite: model Post-training quantization(生成量化模型和部署)
u011279649的专栏
01-02 4562
Post-training quantization的方法 tensorflow lite model 的quantization的方法有两种： “hybrid” post training quantizationandpost-training integer quantization “hybrid” post training quantizationapproach red...
论文阅读——EasyQuant: Post-training Quantization via Scale Optimization via Scale Optimization
qq_37151108的博客
10-26 2614
论文阅读——EasyQuant: Post-training Quantization via Scale Optimization from DeepGlint Paper:EasyQuant: Post-training Quantization via Scale Optimization Code:EasyQuant Abstract 8bit量化广泛用于深度神经网络推断阶段 的加速，主要由两种量化方式：训练中量化和训练后量化。其中训练中亮化使得会是的训练过程更为复杂，而后量化又可能会导致不可接受的
MBQ: Modality-Balanced Quantization for Large Vision-Language Models
03-11
Modality-Balanced Quantization (MBQ) 是一种针对多模态模型（如视觉-语言模型）设计的量化方法，旨在平衡不同模态（如图像和文本）在量化过程中的信息损失。其核心是通过动态调整各模态的量化参数（如量化步长、...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值