模型压缩常用方法

最新推荐文章于 2025-06-12 10:39:37 发布
最新推荐文章于 2025-06-12 10:39:37 发布
阅读量1.1w 收藏 19
点赞数
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 文章标签： 机器学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/orangerfun/article/details/108559173
本文深入讲解常见的模型压缩方法，包括模型蒸馏、量化、剪枝和参数共享等，重点介绍了teacher-student模型如何通过迁移学习使小模型具备大模型的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

常见的模型压缩方法有以下几种：

  • 模型蒸馏 Distillation，使用大模型的学到的知识训练小模型，从而让小模型具有大模型的泛化能力
  • 量化 Quantization，降低大模型的精度，减小模型
  • 剪枝 Pruning，去掉模型中作用比较小的连接
  • 参数共享，共享网络中部分参数，降低模型参数数量

1. teacher-student模型

teacher-student模型是迁移学习的一种，迁移学习也就是将一个模型的性能迁移到另一个模型上，对于教师网络往往是一个更加复杂的网络，具有非常好的性能和泛化能力，可以用这个网络来作为一个soft target来指导另外一个更加简单的学生网络来学习，使得更加简单、参数运算量更少的学生模型也能够具有和教师网络相近的性能

学生网络的训练有两个目标：一个是hard target，即原始的目标函数：小模型的类别概率输出与label真值的交叉熵；另一个为soft target：小模型的类别概率输出与大模型的类别概率输出的交叉熵。将hard和soft的target通过加权平均来作为学生网络的目标函数，soft target所占的权重更大一些。

深度学习方法（十五）：知识蒸馏（Distilling the Knowledge in a Neural Network），在线蒸馏
请参考 DistilBERT

YOLOv5改进策略|YOLOv5 的模型压缩方法、模型压缩、剪枝、量化
sybh的博客
06-13 2518
作为一个基本问题，目标检测多年来一直是一个活跃的研究领域。对象检测的主要目标涉及从数据中识别和 定位感兴趣的对象FF某些给定图像中的不同类别。对象检测是许多其他高级计算机视觉任务 [1] 的基础，从语义 分割 [2] 到对象跟踪 [3] 到活动识别 [4]。近年来，卷积神经网络(CNN)等基于深度学习的方法在目标检测任务 中取得了最先进的性能。由于计算能力和尖端算法的进步，物体检测变得更加准确，从而实现了广泛的现实应 用。
YOLOv5模型压缩方法：综述
AI浩
08-04 4741
目标检测作为一个基本问题，多年来一直是一个活跃的研究领域。目标检测的主要目标是在给定的图像中从不同类别中识别和定位感兴趣的目标。目标检测是许多其他高级计算机视觉任务的基础[1]，从语义分割[2]到目标跟踪[3]到活动识别[4]。近年来，基于深度学习的方法如卷积神经网络(cnn)在目标检测任务中取得了最先进的性能。由于计算能力和前沿算法的进步，目标检测变得更加准确，从而实现了广泛的现实世界应用。与经典的目标检测方法相比，使用cnn缓解了目标检测中的特征提取、分类和定位问题[5,6,7,8,9,10]。
【模型压缩】Deep Compression，多种方式混合经典paper
Lingyun
08-10 583
Paper：Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding 论文链接：https://arxiv.org/abs/1510.00149 ICLR 2016的best paper，通过剪枝、量化、哈夫曼编码三步混合来做模型压缩。 In...
【机器学习】Teacher-Student框架
最新发布
weixin_54607024的博客
06-12 367
【代码】【机器学习】Teacher-Student框架。
【模型压缩】模型压缩的几种方式概述
All_In_gzx_cc的博客
01-26 2964
如同前面提到的，我们希望将一个强大复杂的AI模型减量、压缩后，得到一个迷你、简单的模型，但仍要能维持原有的推论精度或者只有些微（0%到指定%）的下降，就像我们平常看到的JPG影像、MP4影片，虽然采大幅度破坏性压缩，但人眼是很难分辨其品质差异的。这样可以得到几项好处，包括。（FP8， e5m2， e4m3， 1 Byte）在推论时其精度下降幅度可控制在一定程度内，同时可让储存空间和内存使用量减少1/2到3/4，若加上有支持SIMD或平行运算指令集[1]还可让运算量提升1.x ~ 3.x倍，一举多得。
模型压缩常用方法简介
weixin_44966641的博客
09-25 7745
模型压缩常用方法简介
【深度学习】模型压缩
JNing
01-31 2919
【深度学习】模型压缩
详解4种模型压缩技术、模型蒸馏算法
woaimx_1314的博客
06-19 7070
理论上来说，深度神经网络模型越深，非线性程度也就越大，相应的对现实问题的表达能力越强，但相应的代价是，训练成本和模型大小的增加。同时，在部署时，大模型预测速度较低且需要更好的硬件支持。首先是速度，比如像人脸闸机、人脸解锁手机等应用，对响应速度比较敏感，需要做到实时响应。其次是存储，比如电网周边环境监测这个应用场景中，要图像目标检测模型部署在可用内存只有200M的监控设备上，且当监控程序运行后，剩余内存会小于30M。最后是耗能，离线翻译这种移动设备内置AI模型的能耗直接决定了它的续航能力。
如何基于强化学习进行模型压缩？
AI天才研究院
08-04 1428
在日常生活中，计算机模型会被部署到各种各样的场景下用于预测、决策等。为了在保证预测精度的同时降低计算成本，减少资源占用，机器学习模型通常都会经过压缩（Compression）处理。其中，基于强化学习（Reinforcement Learning，RL）的方法被广泛应用于模型压缩。本文将以一个具体的例子——神经网络模型的压缩为例，阐述基于强化学习方法对神经网络模型的压缩，并通过相关代码示例来展示如何使用强化学习方法进行模型压缩。
AI模型压缩:高效智能的关键技术
AI天才研究院
04-30 796
1. 背景介绍 随着深度学习的飞速发展，模型的规模和复杂度不断提升，带来了更高的精度和性能。然而，这些庞大的模型也带来了存储空间、计算资源和能耗等方面的挑战，限制了其在移动设备、嵌入式系统和边缘计算等资源受限场景下的应用。 为了解决这一问题，AI 模型压缩技术应运而生。模型压缩旨在在尽可能保持模型性能的同时，减小模型的尺寸和复杂度，从而
模型压缩与量化技术
AI天才研究院
10-09 1020
近几年随着移动端设备性能的提升和硬件算力的增长，深度学习模型的训练已经越来越受到计算机视觉、自然语言处理等领域的需求驱动。但是随之而来的任务是在准确率、推理速度和资源占用三个方面对模型进行压缩与量化，以便满足更广泛的部署环境。模型压缩（model compression）是指通过一些手段将模型体积减小，并在一定程度上保持其精度，从而减少内存、计算资源、网络带宽等方面的压力，进而实现模型在不同应用场景下的快速部署和推理。
模型压缩方法
jialibang的博客
03-18 218
https://blog.youkuaiyun.com/yimeixiaobai_/article/details/105639817 剪枝：去掉训练好的神经网络中的冗余权重量化：将高比特的大网络量化为低比特蒸馏：使用训练好的大网络中的信息辅助小网络进行训练 深度神经网络知识蒸馏综述 http://www.360doc.com/content/20/1023/09/65393780_941857381.shtml ...
什么是模型压缩？
学习与分享人工智能技术
11-07 2304
本文详细介绍了模型压缩的概念以及剪枝、量化、知识蒸馏三种常见模型压缩方法的实现。
深度学习模型压缩
北国觅梦
09-18 222
前言 目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。 最近正好在关注有关深度学习模型压缩的方法，发现目前已有越来越多关于模型压缩方法的研究，从理论研究到平台实现，取得了非常大的进展。 2015年，Han发表的Deep Compression是一篇对于模型压缩方法的
【深度学习 模型压缩】10分钟了解下模型压缩的常用方法
赖德发的博客
03-17 5809
一、什么是模型压缩？ 模型压缩的目标是保证模型预测效果的前提下，尽可能地降低模型的大小 二、为什么要进行模型压缩？ 1. 模型压缩后，模型很小，进行推断的运算量小，利于在移动端部署。 2. 诸如Bert等深度学习的参数太多了，模型太大了，消耗的计算资源过多，进一步加大了深度学习爱好者们的“贫富差距”，不够和谐。以Bert-large为例，训练一次需要64G显存的google TPU，按照每小时6...
模型压缩（Model compression）
热门推荐
This is Yu SI's blog. Kenny(司宇SIYU)
12-18 1万+
网络剪枝（Network Pruning） 前言 深度神经网络（DNN）有个很大的缺点就是计算量太大。为克服这类问题，研究人员在两方面做了工作。第一，使用高性能硬件加速；第二，使用模型压缩（Model compression）。 网络剪枝就是模型压缩其中的一个方法，除此之外，还有量化（Quantization）、低秩分解（Low-rank factorization）、知识蒸馏（Knowledge distillation）。 网络剪枝研究的核心问题就是：如何有效地裁剪模型参数且最小化精度的损失。 网络剪枝
模型压缩的方法？
GamBleout的博客
10-07 598
模型压缩是一个重要的讨论话题，因为它直接关系到模型在实际应用中的效率和部署能力。模型压缩的主要目的是在保持模型性能的同时，减少模型的参数量和计算量，从而加快推理速度、降低存储需求，使得模型能够在资源受限的设备上运行。
大模型学习笔记1-模型压缩
08-22 606
模型压缩是一种关键技术，使得复杂的深度学习模型可以在资源受限的环境中有效运行。通过剪枝、量化、知识蒸馏等方法，模型可以显著缩小其参数量和计算复杂度，达到加速推理、减少存储需求的目的。在实际应用中，压缩模型不仅可以提高模型的部署灵活性，还可以在不显著牺牲性能的前提下实现高效的计算。是指通过减少模型的参数数量和计算复杂度，来缩减模型的大小和提高推理速度，同时尽量保持模型性能不显著下降。模型压缩技术特别重要，因为它允许复杂的深度学习模型在资源受限的环境中运行，如移动设备、嵌入式系统或低带宽的网络环境中。
实用的3D模型压缩方法
qq_33712172的博客
12-19 3365
在利用Three.js开发过程中，3D模型动辄几十上百兆，在网速、带宽都不足以流畅加载的情况下，优化模型便变得刻不容缓，因此需要介绍下这一工具，在平时开发过程中其压缩率可达到90%左右，也就说100M的模型文件可以压缩到10M左右。
大模型训练常用的模型压缩技术
04-17
### 大模型训练中常用的模型压缩技术 在大模型训练过程中，为了降低存储需求、减少推理时间和能耗，常采用多种模型压缩技术。以下是几种常见的方法： #### 1. 结构化剪枝 结构化剪枝是一种通过移除神经网络中的冗余部分来减小模型规模的技术。例如，在Transformer架构中，可以对自注意力机制（self-attention mechanism）的头部（heads）进行剪枝[^2]。研究发现，即使去掉一些注意力头，也不会显著影响模型的表现，甚至在某些情况下还能提升结果。这种方法不仅减少了参数数量，还优化了计算资源的利用效率。 #### 2. 非结构化剪枝 与结构化剪枝不同，非结构化剪枝关注于逐个删除权重较小或贡献较少的连接。这通常涉及设定阈值，低于该阈值的权值会被置零。尽管这种方法能够实现更高的稀疏性，但它可能会破坏原始张量布局，增加部署难度。 #### 3. 模型量化 模型量化是指用低精度数据类型替代高精度浮点数表示模型参数的过程。例如，将32位浮点数转换成8位整数或其他更低维度的形式。这样做的好处是可以大幅削减内存占用并加速运算速度，因为许多硬件平台都特别针对定点操作进行了优化[^2]。不过，这也可能导致一定程度的信息损失，因此需要仔细调整以保持预测准确性。 #### 4. 知识蒸馏 知识蒸馏旨在构建一个小巧的学生模型去模仿大型教师模型的行为模式。具体而言，学生模型学习来自教师模型软标签的概率分布而非仅依赖硬标签分类结果。这种方式有助于捕获复杂的特征映射关系，同时简化最终产物以便实际应用场合使用。 ```python import torch.nn as nn from torchvision import models # 示例：加载预训练ResNet50模型并执行全连接层裁剪作为简单的模型压缩演示 model = models.resnet50(pretrained=True) for param in model.parameters(): param.requires_grad_(False) # 修改最后一层FC层尺寸至更少类别数目 num_ftrs = model.fc.in_features model.fc = nn.Linear(num_ftrs, new_output_size) # 替换为新的输出大小new_output_size ``` 以上代码展示了如何基于PyTorch框架修改经典卷积神经网络的最后一层全连接层节点数，以此作为一种基础形式的模型压缩手段。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值