深度学习模型压缩方法的特点总结和对比

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 400+累计阅读 431平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄7年

关注

转载最新推荐文章于 2026-02-05 00:05:22 发布 431 阅读 AI 写同款· GEO 优化 ›

模型压缩常用方法简介阅读详情

12.24
转载自大佬
https://blog.youkuaiyun.com/deephub/article/details/107424974

收录于

知识

当前文章被收录于：

知识

21 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

原文链接：https://blog.youkuaiyun.com/deephub/article/details/107424974>

深度学习之模型压缩（剪枝、量化）随着深度学习的发展，模型变得越来越复杂，随之而来的模型参数也越来越多，对于需要训练的模型硬件要求也越来越高。模型压缩技术就是为了解决模型使用成本的问题。通过提高推理速度，降低模型参数量和运算量。现在主流的模型压缩方法包含两大类：剪枝和量化。模型的剪枝是为了减少参数量和运算量，而量化是为了压缩数据的占用量。阅读详情

相关推荐

深度学习模型压缩方法综述（一）

目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。

小时候贼聪明 5万+

tensorflow模型的训练后剪枝和量化，压缩查看效果

本文主要介绍的是在tensorflow模型较大，参数量很多的情况下如何优化模型，让模型瘦身，使得模型有部署到一些嵌入式系统，如树莓派的可能性。 ① 训练后剪枝主要原理比较简单，设置规则将接近0的权重设置为0，使得权重更加的稀疏，减少计算量 ②训练后量化训练模型的时候采用了flot32的高精度，在预测的时候，减小精度设置到比如flot16，int32 等，使得小数的位数减少了，计算难度也就变小了，拿int举例子，将每一步的中间权重(不包括输出)量化为0-255的区间内，用0-255的数字来表示以前的权重

Oscarouyangyafei的博客 1420

深度学习模型压缩方法综述（三）

小时候贼聪明 2万+

深度学习模型压缩与加速技术（二）：参数量化

目录总结参数量化参数量化定义参数量化特点1.二值化二值化权重二值化权重与激活函数2.三值化3.聚类量化4.混合位宽手工固定自主确定训练技巧参考文献 深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占用少、计算资源要求低、同时依旧保证相当高的正确率的“小模型”格

十二月未央未眠 8271

深度学习模型压缩方法综述（二）

小时候贼聪明 2万+

基于深度学习的图像压缩

近年来，深度学习在计算机视觉领域已经占据主导地位，不论是在图像识别还是超分辨重现上，深度学习已成为图片研究的重要技术，但它们的能力并不仅限于这些任务；现在深度学习技术已进入图片压缩领域。下面就说说神经网络在图像压缩领域的应用。当前主要图片压缩算法说到图像压缩算法，目前市面上影响力比较大的图片压缩技术是WebP和BPG WebP：谷歌在2010年推出的一款可以同时提供有损压缩和无损压缩的图...

爱破破爱科研 1万+

【模型压缩】（三）——量化

一、概述量化：剪枝是删除不重要的权重参数，量化则是减少存储权重的bit，将权重存储在更小的空间中；权重不需要以高精度方式存储，甚至不应该以高精度方式存储；如果用简单的量化方式效果并不好，需要一些训练量化参数的计较；方法： 1、二值化这是最简单的一种量化方式，就是用0-1两个值代替原来的参数值，往往能达到32倍的压缩程度；该方法能够大大提升模型的训练和推理速度，但性能明显下降；也可以采用一种二值化变体，就是用两个常量（C1和C2）来替代0-1两个值，阈值也可以修改；缺点：损失精度过多，并且在

weixin_40620310的博客 3229

深度学习模型压缩

方法描述适用对象是否要预训练优点缺点模型剪枝判断参数、通道、滤波、卷积层的显著性，并剪除不重要的部分。卷积层、全连接层是显著减少参数数量，便于在硬件上实现加速。结构化剪枝使模型变窄，从而减少存储与提高运算速度。非结构化剪枝会造成网络结构不规整，难以有效加速。结构化剪枝可能会造成与硬件平台不兼容，灵活性差。模型量化基于权值共享、矩阵近似，减少参数及激活值的存储位数，降低内存开销。卷积层、全连接层是有不错的压缩量和模型性能，训练时间短可以获得存储量小、计算量低和模型性能好的小型模型。

ddbgdxw的博客 1189

深度学习 对比两张图片的差异_深度学习模型压缩方法的特点总结和对比

了解用于深入学习的不同模型压缩技术的需求和特点不管你是计算机视觉新手还是专家，你可能听说过 AlexNet 于2012年赢得了ImageNet挑战赛。这是计算机视觉发展史上的转折点，因为它表明，深度学习模型能够以前所未有的精度完成非常困难的任务。但是你是否知道 AlexNet有6.2千万训练参数？另一个广为人知的模型 VGGNet 则有1.38亿训练参数，是AlexNet 的两倍之多。我们知道，模...

weixin_39883670的博客 1142

深度学习之图片压缩技术

近年来，深度学习在计算机视觉领域已经占据主导地位，不论是在图像识别还是超分辨重现上，深度学习已成为图片研究的重要技术；现在深度学习技术已进入图片压缩领域。本文将和大家分享如何使用深度学习卷积神经网络技术设计图像压缩算法。当前主要图片压缩算法说到图像压缩算法，目前市面上影响力比较大的图片压缩技术是WebP和BPG WebP：谷歌在2010年推出的一款可以同时提供有损压缩和无损压...

图鸭科技 1万+

《斯图尔特微积分》实战指南：从理论到解题技巧的跨越

本文深入解析《斯图尔特微积分》教材的独特价值与实用学习策略，重点介绍其理论深度与实际应用的完美平衡。通过概念理解、符号语言转换、解题思维框架等五个关键跨越，帮助读者高效掌握微积分核心技巧。文章还提供分层练习、可视化工具等教学实践方法，是提升微积分学习效率的实战指南。

weixin_28432777的博客 395

神经网络模型压缩——剪枝

一、Adaptive Neural Networks for Efficient Inference 2017 （注意比较这个和下一个：一二）https://www.baidu.com/link?url=G_BjuL1bDrwmt0XxMTS-3g6VB_HGfIBJTCVmuWUatmJ4dyXNzxhluOH7h_NI6K-T&wd=&eqid=9da5384e00025b2...

daniaokuye的专栏 1万+

方差分解分析变量筛选与显著性计算

冗余分析（redundancy analysis，RDA）是一种回归分析结合主成分分析的排序方法，也是多响应变量（multiresponse）回归分析的拓展。在进行VPA时，首先就要对这些环境因子进行一个分类，然后在约束其它类环境因子的情况下，对某一类环境因子进行排序分析，这种分析也成为偏分析，即partialRDA。在地球环境科学的实际应用中，可以基于VPA结果得出不同类型的环境因素（如何气候、土壤性质以及植物）对生物群落组成（如植被丰度，微生物群落）的解释程度。对于由或创建的排序对象，函数。

wlh2067的博客 2519

AI压缩算法

AI压缩算法是利用深度学习模型，通过“学习数据分布”和“生成式重建”来实现数据压缩的前沿技术。它的核心是用神经网络的“智能”来替代传统的“信号处理规则”，追求在极低码率下实现最佳的主观视觉体验。虽然目前受限于算力、延迟和标准化问题，尚未取代H.265、AV1等主流标准，但它代表了未来压缩技术的重要方向，尤其是在对带宽极度敏感且对主观质量要求高的应用场景中（如元宇宙、VR/AR、低带宽通信）。###对比将“AI压缩算法”与H.265（也称为HEVC，高效视频编码）进行对比，是一个非常前沿且有意义的话题。

EdmundXjs的博客 1048

ubunut 系统安装k8s集群

修改配置文件 kube-metrics-server.yaml 添加监控数据采集容器启动参数，启动 tls 证书验证，否则监控容器接口验证不通过，无法采集监控数据。kube-metrics-server.yaml 140行左右添加参数 --kubelet-insecure-tls。服务器添加配置(配置三台阿里云时间同步服务器作为时间源，本机作为时间同步服务器)客户端配置(第一个源选用集群内的 192.168.10.20 )时间同步配置文件参考如下。

weixin_57489252的博客 1328

SAP SD跨公司销售IDOC自动记账配置实战指南

本文详细介绍了SAP SD模块中跨公司销售IDOC自动记账的配置实战指南。通过IDOC技术实现集团企业间交易的自动化处理，显著提升财务效率和准确性。文章涵盖前置配置、RFC连接、合作伙伴参数设置及财务科目分配等关键步骤，并提供了常见错误排查和性能优化建议，帮助用户快速掌握这一高效业务流程。

weixin_29284885的博客 769

深度学习模型压缩与加速综述

七大模型压缩与加速方法总结：参数剪枝、参数量化、紧凑网络、知识蒸馏、低秩分解、参数共享

不积跬步，无以至千里！ 4336

如何解决群晖Docker注册表查询失败/无法拉取镜像等问题

XiaoqiangClub的博客 1万+

深度学习模型压缩方法

向AI转型的程序员都关注了这个号????????????机器学习AI算法工程公众号：datayx目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了...

datayx的文章 3511

Qt Creator 下载和安装

在线安装程序是一个小型的安装程序，它将在您的计算机上下载和安装 Qt Creator。离线安装程序是一个较大的安装包，您可以将其保存在本地，并在没有网络连接的情况下安装 Qt Creator。在 Qt 官方网站上，您可以找到 Qt Creator 的下载页面。Qt Creator 是一款跨平台的集成开发环境（IDE），用于开发基于 Qt 框架的应用程序。在这一步中，您可以选择是否安装 Qt Creator 的附加组件。一旦您完成了组件的选择，安装程序将开始将 Qt Creator 安装到您的计算机上。

HackLogic的博客 6817

【产品经理修炼之道】-如何搭建企业级账务系统？

笔者公司的业务模式具有一定的独特性，不同于我们常见的市面上供应链类公司的进销存模式。公司主要为各大银行和金融机构提供信贷领域的风控服务，客户主要通过请求公司的数据产品接口产生费用，可以简单地理解为请求一次接口收费0.5元，一个月若是有1w人请求同一个接口则公司需要收费5000元。

xiaoli8748的专栏 5404

深度学习模型压缩与优化加速（Model Compression and Acceleration Overview）

1. 简介 深度学习（Deep Learning）因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、优化加速、异构计算等方法突破瓶颈。模型压缩算法能够有效降低参数冗余，从而减少存储占用、通信带宽和计算复杂度，有助于深度学习的应用部署，具体可划分为如下几种方法（后续重点介绍剪枝与量化）：线性或非线性量化：1/2bits, int8 和 fp16等；结构或...

AI Flash 4万+

Android 13.0 开机启动优化之PMS扫描apk耗时相关功能优化

在android13.0的系统rom定制化开发中，在系统中开发产品时，会根据客户要求内置第三方app,这时如果内置app过多，或者安装的app过多，在系统开机的过程中在pms扫描安装app的时候，就会比较耗时，这时候就需要优化下pms扫描安装app这块的功能代码，用多线程来实现pms扫描安装app，来加快开机时间，接下来来实现这个功能

安卓兼职framework和app工程师的博客 1333

深度学习实战——模型推理优化（模型压缩与加速）

本篇博客主要介绍几种模型推理优化方法的原理，并进行了代码实践与优化（内含代码与数据集）。

转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225 1万+

C# WinForm 基于DirectShow.dll编写的程序，可边预览边保存视频，音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择（默认选中第一个）2.可录制wmv和avi两种格式的视频并且都带有音频，avi可以录制的分辨率和帧数进行选择，wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照，也可边录制视频边拍照4.添加了视频和音频的压缩功能（酌情使用）这次二次开发发现C#对DirectShow的相关信息太少，这次做完也不敢藏私共享出来，还望大家指正

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册，内含HL7和ASTM)

深度学习模型压缩方法（1）-----综述

1.研究背景对模型预测精度无明显影响压缩模型的参数数量、深度来降低模型空间复杂度全连接层参数多，模型大小由全连接层主导不显著提高训练时间复杂度，降低预测时间复杂度（计算量）卷积层计算量大，计算代价由卷积操作主导 2.方法 2.1.更精细模型的设计 Aggregated Residual Transformations for Deep Neural Networ...

shentanyue的博客 2万+

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox（带书签），MATLAB统计学习工具

上一篇：基于深度学习的人脸识别技术综述

下一篇：网络可视化工具netron详细安装流程

深度学习模型压缩方法综述（一）