Pytorch量化(torch.quantization)

最新推荐文章于 2025-10-17 22:54:23 发布
原创 最新推荐文章于 2025-10-17 22:54:23 发布 · 7.9k 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Pytorch

本文探讨了深度学习中的量化技术，如何通过使用INT8减少模型体积和内存需求，提升计算速度。介绍了PyTorch支持的动态、静态量化和量化感知训练方法，以及一个使用ConvBnReluModel实例展示模型量化与保存的过程。

      在深度学习中，量化指的是使用更少的bit来存储原本以浮点数存储的tensor，以及使用更少的bit来完成原本以浮点数完成的计算。这么做的好处主要有如下几点：

  • 更少的模型体积，接近4倍的减少；
  • 可以更快的计算，由于更少的内存访问和更快的int8计算，可以快2~4倍。

      一个量化后的模型，其部分或者全部的tensor操作会使用int类型来计算，而不是使用量化之前的float类型。当然，量化还需要底层硬件支持，x86 CPU（支持AVX2）、ARM CPU、Google TPU、Nvidia Volta/Turing/Ampere、Qualcomm DSP这些主流硬件都对量化提

了支持。

      与典型的 FP32 型号相比，PyTorch 支持 INT8 量化，从而可将模型大小减少 4 倍，并将内存带宽要求减少 4 倍。 与 FP32 计算相比，对 INT8 计算的硬件支持通常快 2 到 4 倍。 量化主要是一种加速推理的技术，并且量化算子仅支持前向传递。PyTorch 支持多种方法来量化深度学习模型。 在大多数情况下，该模型在 FP32 中训练，然后将模型转换为 INT8

PyTorch对量化的支持目前有如下三种方式：

  • Post Training Dynamic Quantization，模型训练完毕后的动态量化；
  • Post Training Static Quantization，模型训练完毕后的静态量化；
  • QAT（Quantization Aware Training），模型训练中开启量化。

示例: 模型量化后保存为jit形式




                

        

    

  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    

      

        

            

              
                
                  hxxjxw
                
              
            

            

                关注
              
            

        

        

          
      

      










                



	

		

			

				
					
pytorch 模型量化quantization

				
			

			

				

					驽马十驾，功在不舍；锲而不舍，金石可镂。
				

				

					12-03
					
					2120
					
				

			

		

		

			
				
此博客结合CIFAR100数据集分类任务，分别采用和对resnet101模型进行量化。

			
		

	



                

            
              



	

		

			

				
					
pytorch量化

				
			

			

				

					jacke121的专栏
				

				

					05-17
					
					7693
					
				

			

		

		

			
				
量化是一种加速推理的技术，量化算子并且仅仅支持前向传递。Pytorch支持int8量化，相比于float32,模型的大小减少4倍，内存要求减少4倍。与float32计算相比，对int8计算的硬件支持通常快2到4倍。

大多数情况下，模型需要以float32精度训练，然后将模型转换为int8。如今，PyTorch支持在具有AVX2支持或者更高版本的x86 CPU或者ARM CPU上运行量化运算符。

pytorch提供了三种量化模型的方法：

训练后动态量化：最简单的量化形式，权重被提前量化，激活在推理...

			
		

	



              


  
  
              

                


	

		

			

				
					
pytorch的量化Quantization

				
			

			

				

					qq_29007291的博客
				

				

					05-21
					
					3296
					
				

			

		

		

			
				
一、相关背景
pytorch 从 1.3 开始增加了量化相关的接口，目前pytorch 最新版本已经到了1.11了，猜测其量化相关工具已经完善了（易用、模型速度提升，模型质量几乎不下降），所以开始记录量化相关知识。
注意

本文开始写于 20220521，pytorch 版本 1.11。如果时间相差太多或者版本相差太多，后面的信息可能会不适用。
相应资料均来自与pytorch官网

二、Quantization
量化相关知识就不介绍了，网上一大堆，pytorch也是一大堆介绍。这里就简单给出个pytorch

			
		

	





	

		

			

				
					
【Pytorch】量化

					
最新发布

				
			

			

				

					weixin_48783288的博客
				

				

					10-17
					
					788
					
				

			

		

		

			
				
动态量化（说明；以下代码的python版本为3.8，pytorch版本为1.8.0在pytorch里只需要一行代码就可以把模型动态量化为INT8模型输出结果如下从打印的结果里可以看出，Linear1的参数dtype为int8，但实际值并不是整数，这也侧面印证了该层在进入下一层的计算时被反量化为fp32，当然也保持了scale和zero_point（偏移量），可以通过torch.int_repr()去查看量化为int8的实际值，我们可以使用公式进行结果验证打印结果里的。

			
		

	



		

			
		



	

		

			

				
					
PyTorch量化实践（1）

				
			

			

				

					十二月未央未眠
				

				

					05-27
					
					1574
					
				

			

		

		

			
				
翻译来源https://pytorch.org/blog/quantization-in-practice/
量化是一种廉价而简单的方法，可以使深度神经网络模型运行得更快，并具有更低的内存需求。PyTorch提供了几种量化模型的不同方法。在这篇博客文章中，我们将(快速)为深度学习中的量化奠定基础，然后看看每种技术在实践中是怎样的。最后，我们将以文献中关于在工作流程中使用量化的建议作为结束。

量化原理

如果有人问你几点了，你不会回答“10:14:34:430705”，而会说“10点过一刻”。

量化本质.

			
		

	





	

		

			

				
					
pytorch量化尝试

				
			

			

				

					09-24
				

			

		

		

			
				
此代码实现的是pytorch量化的流程，里面卷积等模块也有自己实现的部分，借助pytorch的统计信息，便于后续的工程量化的落地实施

			
		

	





	

		

			

				
					
【PyTorch】四种主要的量化方法：动态量化、静态量化、量化感知训练、混合量化

				
			

			

				

					彬彬侠的博客
				

				

					03-13
					
					3658
					
				

			

		

		

			
				
在PyTorch中，量化（Quantization）是一种用于减少模型大小和提高推理速度的优化技术，主要适用于边缘设备（如移动端、嵌入式设备）和服务器推理。量化通过将浮点数（FP32）转换为较低精度的数据类型（如INT8），从而减少计算需求并加快推理。如果不想重新训练模型，推荐使用动态量化（适用于RNN）。如果可以运行标定数据，推荐使用静态量化（适用于CNN）。如果需要最高精度量化，推荐使用量化感知训练（QAT）。如果使用Transformer/BERT，推荐使用FX量化。

			
		

	





	

		

			

				
					
pytorch动态量化函数torch.quantization.quantize_dynamic详解

					
热门推荐

				
			

			

				

					随缘分享
				

				

					11-06
					
					1万+
					
				

			

		

		

			
				
pytorch 提供torch.quantization.quantize_dynamic函数，对模型中的某些层进行量化
文章目录pytorch 提供torch.quantization.quantize_dynamic函数，对模型中的某些层进行量化1.初始化一个RNN模型，里面包含了LSTM层和全连接层，使用torch.quantization.quantize_dynamic对模型进行量化。2.检查量化后各层参数3.什么是动态量化4.量化后的训练和验证总结


1.初始化一个RNN模型，里面包含了LST

			
		

	





	

		

			

				
					
基于pytorch量化感知训练mnist分类
浮点训练vs多bit后量化vs多bit量化感知训练效果对比

				
			

			

				

					03-06
				

			

		

		

			
				
具体实施时，PyTorch提供了`torch.quantization`模块来进行量化感知训练。这个模块包含了一些关键的接口，如`QuantizeStub`和`DeQuantizeStub`，用于插入到模型中以模拟量化和反量化操作。通过`prepare_qat`和`...

			
		

	





	

		

			

				
					
pytorch量化中torch.quantize_per_tensor()函数参数详解

				
			

			

				

					随缘分享
				

				

					10-05
					
					1万+
					
				

			

		

		

			
				
torch.quantize_per_tensor()实现8位量化：
提示：对该函数各个参数的分析
量化：
计算机运算时，默认32位浮点数，若将32位浮点数，变成8位定点数，会快很多。
目前并不支持pytorch中的反向传播不支持量化，所以该量化只用于评估训练好的模型，或者将32位浮点数模型存储1为8位定点数模型，读取8位定点数模型后需要转换为32位浮点数才能进行神经网络参数的训练。
量化函数原型：Q = torch.quantize_per_tensor(input,scale = 0.025 , zer

			
		

	





	

		

			

				
					
Pytorch Quantization

				
			

			

				

					vivavivaa的博客
				

				

					05-31
					
					744
					
				

			

		

		

			
				
Pytorch官方量化学习

			
		

	





	

		

			

				
					
pytorch-quantization-demo:从头开始使用pytorch的简单网络量化演示

				
			

			

				

					05-15
				

			

		

		

			
				
pytorch-quantization-demo
A simple network quantization demo using pytorch from scratch. This is the code for my  about network quantization written in Chinese.
感兴趣的读者欢迎关注我的知乎专栏：
以及同名公众号：AI小男孩

			
		

	





	

		

			

				
					
pytorch_quantization:Dorefa量化的pytorch实现

				
			

			

				

					04-15
				

			

		

		

			
				
Dorefa网
的pytorch实施 .The代码的灵感来自和 。
要求
python> 3.5
 火炬> = 1.1.0
 火炬视觉> = 0.4.0
 每晚，未来（用于张量板）
 nvidia-dali> = 0.12（更快的 ）
Cifar-10精度
从头开始训练量化模型
模型
W_位
一点点
加速器
网路18
 32
 32
 94.71％
 网路18
 4
 4
 94.36％
 网路18
 1个
4
 93.87％
ImageNet精度
从头开始训练量化模型
模型
W_位
一点点
前1名
前5
 网路18
 32
 32
 69.80％
 89.32％
 网路18
 4
 4
 66.60％
 87.15％
用法
下载ImageNet数据集并将验证图像移动到带标签的子文件夹中。为此，您可以使用以下
训练模型
python3 cifar_train_eval.py    
pyt

			
		

	





	

		

			

				
					
【PyTorch】torch.quantization.quantize_dynamic() 函数：动态量化（Dynamic Quantization）

				
			

			

				

					彬彬侠的博客
				

				

					03-14
					
					1024
					
				

			

		

		

			
				
torch.quantization.quantize_dynamic 是 PyTorch 提供的动态量化（Dynamic Quantization）函数，用于 减少模型大小 并 加速推理，特别适用于 CPU 设备。适用于 Transformer、LSTM、GRU、全连接层。无需标定数据，易于使用，是 低成本优化推理性能的最佳方案。

			
		

	





	

		

			

				
					
pytorch量化训练

				
			

			

				

					程序员深度学习
				

				

					11-11
					
					2169
					
				

			

		

		

			
				
可以应用到模型的特定部分或整个模型上model.fc1.qconfig = custom_qconfig # 应用到模型的一个特定层和# 应用到整个模型。

			
		

	





	

		

			

				
					
模型量化 | Pytorch的模型量化基础

				
			

			

				

					weixin_44649780的博客
				

				

					12-27
					
					3047
					
				

			

		

		

			
				
量化简介量化是指执行计算和存储的技术 位宽低于浮点精度的张量。量化模型 在张量上执行部分或全部操作，精度降低，而不是 全精度（浮点）值。这允许更紧凑的模型表示和 在许多硬件平台上使用高性能矢量化操作。与典型的 FP32 模型相比，PyTorch 支持 INT8 量化，模型大小减少 4 倍内存带宽减少 4 倍INT8 计算的硬件支持通常为 2 到 4 个 与 FP32 计算相比，速度快几倍量化主要是一种技术 加速推理，量化仅支持前向传递 运营商。PyTorch 支持多种量化深度学习模型的方法。

			
		

	





	

		

			

				
					
Pytorch模型量化

				
			

			

				

					凌逆战的博客
				

				

					10-25
					
					1万+
					
				

			

		

		

			
				
在深度学习中，量化指的是使用更少的bit来存储原本以浮点数存储的tensor，以及使用更少的bit来完成原本以浮点数完成的计算。这么做的好处主要有如下几点：

更少的模型体积，接近4倍的减少；
可以更快的计算，由于更少的内存访问和更快的int8计算，可以快2~4倍。

一个量化后的模型，其部分或者全部的tensor操作会使用int类型来计算，而不是使用量化之前的float类型。当然，量化还需要底...

			
		

	





	

		

			

				
					
PyTorch Quantization简介

				
			

			

				

					qq_44089890的博客
				

				

					04-08
					
					6011
					
				

			

		

		

			
				
量化模块的优点在于可以将神经网络中的参数转换为离散的数值，从而降低计算复杂度，减小模型大小，提高推理速度和功耗效率，特别是在移动设备等资源受限的环境下，量化模块的优势更加明显。量化感知训练的优点在于可以在训练过程中对深度神经网络进行量化优化，提高模型的精度和鲁棒性，同时还可以进一步减小量化误差，提高模型的性能和效果。通过这种量化优化方式，可以将神经网络中的参数量化为离散的数值，从而提高深度神经网络的性能和效率，减少计算复杂度和存储空间，特别是在移动设备等资源受限的环境下，量化优化的优势更加明显。

			
		

	





	

		

			

				
					
torch.quantization支持Cpu量化模型吗

				
			

			

				

					04-28
				

			

		

		

			
				
### 关于 PyTorch 中 `torch.quantization` 模块的支持情况

`torch.quantization` 是 PyTorch 提供的一个用于模型量化的模块，主要用于降低模型的存储需求和推理延迟，同时保持较高的精度。该模块支持多种量化方法，包括动态量化、静态量化以及量化感知训练 (QAT)[^1]。

#### 静态量化与动态量化
- **静态量化**：适用于 CNN 和其他具有固定输入大小的网络结构。它需要校准数据集来计算激活值的统计信息（如均值和标准差）。此过程通常涉及插入观察器操作符以收集每层的激活分布[^2]。
- **动态量化**：主要针对 LSTM 或 Transformer 这样的序列模型设计，在运行时自动调整权重和激活值的比例因子。这种方式不需要额外的数据来进行校准[^3]。

无论是哪种类型的量化方式，`torch.quantization` 均可以在 CPU 上执行，并且能够显著减少内存占用并提升性能。这是因为量化后的张量使用较低位宽表示数值（例如 int8 而非 float32），从而减少了乘法累加运算中的算术复杂度[^2]。

以下是利用 `torch.quantization` 对卷积神经网络进行动态量化的简单例子：

```python
import torch
from torch import nn
import torch.nn.functional as F
from torch.quantization import quantize_dynamic

class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(1, 6, kernel_size=5)
        self.pool = nn.MaxPool2d(kernel_size=2, stride=2)
        self.fc = nn.Linear(6 * 12 * 12, 10)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = x.view(-1, 6 * 12 * 12)
        x = self.fc(x)
        return x

model = SimpleCNN()
model.eval()

# 动态量化指定 Conv2d 和 Linear 层
quantized_model = quantize_dynamic(model, {nn.Conv2d, nn.Linear}, dtype=torch.qint8)

dummy_input = torch.randn(1, 1, 28, 28)
output = quantized_model(dummy_input)
print(output)
```

尽管如此需要注意的是，虽然当前版本的 `torch.quantization` 支持大部分常见架构下的 CPU 推理优化，但对于某些特殊硬件加速功能可能仍需依赖 GPU 或者特定 SDK 的集成解决方案[^3]。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			
			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值