PyTorch 深度学习实战（30）：模型压缩与量化部署

在上一篇文章中，我们介绍了 YOLOv12 目标检测算法。本文将深入探讨 模型压缩与量化部署 技术，这些技术能够显著减小模型体积、提升推理速度，同时保持模型精度。我们将使用 PyTorch 实现多种压缩方法，并演示如何部署优化后的模型。

---

一、模型压缩基础

模型压缩是解决深度学习模型在资源受限设备上部署的关键技术，主要包括以下方法：

1. 核心压缩技术

• 量化（Quantization）：

  • 将浮点权重/激活转换为低精度表示（如 INT8）

• 剪枝（Pruning）：

  • 移除对输出影响较小的神经元或连接

• 知识蒸馏（Knowledge Distillation）：

  • 使用大模型（教师模型）指导小模型（学生模型）训练

• 权重共享（Weight Sharing）：

  • 相似权重使用同一数值表示

2. 技术对比

方法	压缩率	加速比	精度损失	适用场景
动态量化	2-4x	1.5-3x	低	CPU 部署
静态量化	4-8x	3-6x	中	移动端/嵌入式
结构化剪枝	2-10x	2-5x	中	终端设备
知识蒸馏	2-5x	1-2x	低	模型轻量化

---

二、PyTorch 量化实战

1. 动态量化（推理时量化）

import torch
from torch.quantization import quantize_dynamic
from torchvision import models
​
# 加载预训练模型
model = models.resnet50(weights=models.ResNet50_Weights.IMAGENET1K_V2)
# # 加载预训练模型
​
# 动态量化（仅量化全连接层）
quantized_model = quantize_dynamic(
    model, 
    {torch.nn.Linear},  # 量化模块类型
    dtype=torch.qint8   # 量化数据类型
)
​
# 保存量化模型
torch.save(quantized_model.state_dict(), 'resnet50_quantized.pth')

2. 静态量化（训练后量化）

import torch
from torchvision import models
from torch.quantization import QuantStub, DeQuantStub, prepare, convert
​
# 1. 加载模型（自动下载权重）
model = models.resnet50(weights=models.ResNet50_Weights.IMAGENET1K_V1)
model.eval()
​
# 2. 定义量化包装器
class QuantizedResNet(torch.nn.Module):
    def __init__(self, model):
        super().__init__()
        self.quant = QuantStub()
        self.model = model
        self.dequant = DeQuantStub()
    
    def forward(self, x):
        x = self.quant(x)
        x = self.model(x)
        x = self.dequant(x)
        return x
​
# 3. 准备量化模型
quant_model = QuantizedResNet(model)
quant_model.qconfig = torch.quantization.get_default_qconfig('fbgemm')
model_prepared = prepare(quant_model)
​
# 4. 校准（示例用随机数据，实际应用应使用真实数据）
for _ in range(100):
    dummy_input = torch.randn(1, 3, 224, 224)
    model_prepared(dummy_input)
​
# 5. 转换量化模型
model_int8 = convert(model_prepared)
​
# 6. 测试保存
torch.save(model_int8.state_dict(), 'resnet50_quantized.pth')
print("量化模型已保存")

---

三、模型剪枝实战

1. 非结构化剪枝

import torch
import torch.nn as nn
import torch.nn.utils.prune as prune
from torchvision import models
​
# 1. 加载预训练模型
model = models.resnet50(weights=models.ResNet50_Weights.IMAGENET1K_V1)
model.eval()  # 设置为评估模式
​
# 2. 查看原始模型参数
print(f"原始模型第一层卷积参数数量: {model.conv1.weight.numel()}")
print(f"原始模型第一层卷积非零参数比例: {torch.sum(model.conv1.weight != 0).item()/model.conv1.weight.numel():.2%}")
​
# 3. L1非结构化剪枝（剪去30%权重）
prune.l1_unstructured(
    module=model.conv1,
    name='weight',
    amount=0.3  # 剪枝比例30%
)
​
# 4. 查看剪枝后参数
print(f"\n剪枝后参数情况:")
print(f"- 掩码存在性: {'weight_mask' in dict(model.conv1.named_buffers())}")
print(f"- 实际参数数量: {model.conv1.weight.numel()}") 
print(f"- 有效参数数量: {torch.sum(model.conv1.weight != 0).item()}")
print(f"-