【学习】网络压缩：知识蒸馏、参数量化、动态计算，PPO

最新推荐文章于 2025-07-31 19:28:44 发布
原创 最新推荐文章于 2025-07-31 19:28:44 发布 · 930 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #聚类

文章介绍了深度学习中的优化策略，包括知识蒸馏，其中学生网络从老师网络学习，参数量化以减少模型大小，如深度方向可分卷积，以及动态计算技术，允许网络根据需求调整计算。此外，还讨论了强化学习中的策略优化算法PPO，从on-policy转向off-policy以提高效率。

文章目录

一、知识蒸馏Knowledge Distillation

学生网络学习老师网络。
在这里插入图片描述
学生可以学到训练资料可能没有提供的东西。
老师也可以是很多个模型的投票结果：
在这里插入图片描述
温度常数用于softmax：可以让分布变平滑。这是一个超参数，不能非常大（会变成所有参数都一样）
在这里插入图片描述
这里有平滑的分布，就不是one-hot一样的东西（要么是0，要么是1），这样就不是给一个标准答案了！可以给额外更多的信息。

二、参数量化

• 1.使用较少的位来表示一个值
•2.权重聚类（确定了分布之后取平均）
3.用较少的比特表示频繁的聚类，用较多的比特表示罕见的聚类，例如霍夫曼编码。
在这里插入图片描述
压缩到参数只有+1或者-1，binary weights
在这里插入图片描述

最低0.47元/天 解锁文章
Raphael9900
关注
智能 Agent 迁移学习实战：策略迁移、知识蒸馏与跨任务泛化机制全流程解析
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-03 1258
在复杂多变的任务环境中，智能 Agent 面临训练成本高、样本效率低与策略泛化能力弱等挑战。迁移学习为解决此类问题提供有效路径，能够通过知识重用、策略蒸馏、跨环境适配等方式加速训练、提升稳定性与扩展能力。本文围绕 Agent 系统中的迁移学习机制，系统解析策略迁移的范式选择、蒸馏机制的实现方式、结构适配与初始化策略，以及多任务学习中共享表示空间的建模方法。结合实际项目案例，提供从预训练到在线迁移、从单任务到多任务泛化的全链路工程实践路径，为企业级智能体系统提供可扩展、可复用的迁移学习解决方案。
LSTM 网络在强化学习中的应用
AI天才研究院
04-05 2046
强化学习是机器学习的一个重要分支,它通过在不确定环境中通过试错来学习最优决策策略。近年来,随着深度学习技术的发展,将深度神经网络与强化学习相结合,形成了深度强化学习,取得了一系列突破性进展。其中,长短期记忆(LSTM)网络作为一种特殊的循环神经网络,因其在处理序列数据和时间依赖关系方面的优势,在深度强化学习中发挥了关键作用。本文将深入探讨LSTM网络在强化学习中的应用,包括核心概念、算法原理、实践案例以及未来发展趋势。希望能为从事强化学习研究与应用的读者提供有价值的技术见解。
YOLOv8源码修改（5）- YOLO知识蒸馏（下）设置蒸馏超参数：以yolov8-pose为例
qq_40387714的博客
05-25 2087
本文探讨了YOLOv8知识蒸馏的实现与优化策略。作者以yolov8-pose为例，分析了影响蒸馏效果的6大因素：算法选择、超参设置、损失权重、数据质量、模型差异和实现细节。实验表明，AT蒸馏算法虽简单但效果突出，收敛快且资源占用少；MGD鲁棒性强，参数不敏感；CWD调优后效果最佳。作者建议将蒸馏损失初始比例控制在15%-25%，最终降至5%-15%，并提出了动态调整权重的方案。对于实际应用，推荐优先选择AT算法，其实现简单且效果稳定。文中还指出了多阶段混合蒸馏等未来优化方向。
pytorch框架下的参数量化（量化为任意位数，或2的幂次方）
随缘分享
01-10 4354
pytorch框架下参数渐进量化的实现 将pytorch框架下的参数量化为特定形式，会产生一定的误差，这篇博客以MINIST数据集，LSTM量化为例，主要写了量化的详细流程，并附上完整程序。 文章目录pytorch框架下参数渐进量化的实现一、量化原理二、自定义RNN框架三、MNIST数据集和建模，初始化四、量化函数介绍五、量化权重矩阵总结 一、量化原理 本博客介绍的量化方式，可以将参数量化成任何形式，但量化后的参数不支持反向传播，即不能再训练。 LSTM共有8个权重矩阵，如果直接量化，会产生较大的误差
深度解析知识蒸馏技术，理解DeepSeek为何如此强大！
m0_59235699的博客
02-21 1100
什么是知识蒸馏知识蒸馏（Knowledge Distillation）本质上是一场深度学习的""革命。在真实的业务场景中，我们常常面临这样的矛盾：一个在超算集群上训练出的千亿参数BERT模型虽然准确率惊人，但根本无法部署在边缘设备的128MB内存中；或者一个基于ResNet-152的图像识别系统虽然效果卓越，但10秒/张的推理速度完全不符合产线质检的实时性要求。这时候，。这项技术的核心在于。
深度学习模型压缩与加速技术（二）：参数量化
十二月未央未眠
04-24 8030
目录总结参数量化参数量化定义参数量化特点1.二值化二值化权重二值化权重与激活函数2.三值化3.聚类量化4.混合位宽手工固定自主确定训练技巧参考文献 深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占用少、计算资源要求低、同时依旧保证相当高的正确率的“小模型”格
[深度学习]知识蒸馏技术
摩登都市天空---专栏
11-15 3388
一 知识蒸馏(Knowledge Distillation)介绍 名词解释 teacher - 原始模型或模型ensemble student - 新模型 transfer set - 用来迁移teacher知识、训练student的数据集合 soft target - teacher输出的预测结果（一般是softmax之后的概率） hard target - 样本原本的标签 temperature - 蒸馏目标函数中的超参数 born-again network - 蒸馏的一种，指stud
AI人工智能深度学习算法：代理通信与协作模型概览
AI天才研究院
09-10 921
AI人工智能深度学习算法：代理通信与协作模型概览 相关领域的典型问题/面试题库及答案解析 1. 代理模型在深度学习中的应用 面试题： 请简要介绍一下深度强化
元学习应用方案实战：AI架构师如何构建可扩展系统
最新发布
AI天才研究院
07-31 1006
近年来，AI技术在计算机视觉、自然语言处理等领域取得突破，但传统机器学习模型的“静态性”与业务场景的“动态性”之间的矛盾数据稀缺性：多数实际场景（如工业质检、医疗诊断）标注数据有限，小样本（Few-shot）甚至零样本（Zero-shot）场景普遍存在。任务多样性：业务需求快速迭代，新任务（如新类别、新领域）不断涌现，模型需要具备“快速适应”能力。系统扩展性：独立开发每个任务的模型会导致“模型爆炸”，系统架构面临资源消耗、维护成本、版本管理的三重压力。
模型压缩中参数量化
coderyyc的博客
12-09 3195
参考：https://blog.youkuaiyun.com/zlgahu/article/details/104662203?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-5.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-5.control 混合精度训练：https://zhuanlan.z
reinforcement_learning_ppo_rnd:在 Tensorflow 2 和 Pytorch 中使用近端策略优化和随机网络蒸馏进行深度强化学习，并附有一些解释
05-31
PPO-RND 通过在 Tensorflow 2 和 Pytorch 中使用近端策略优化和随机网络蒸馏来演示深度强化学习的简单代码 版本 2 和其他进展 版本 2 将带来代码质量和性能的改进。 我重构了代码，以便它遵循 OpenAI 基线上 PPO 实现中的算法。 我还使用了称为 Truly PPO 的更新版本的 PPO，它比 OpenAI 的 PPO 具有更高的样本效率和性能。 目前，我专注于如何在更困难的环境（Atari 游戏、MuJoCo 等）中实施这个项目。 使用 Pytorch 和 Tensorflow 2 清理代码 使用真正的 PPO 添加更复杂的环境 添加更多说明 入门 该项目使用 Pytorch 和 Tensorflow 2 作为深度学习框架，使用 Gym 作为强化学习环境。 虽然不是必需的，但我建议在具有 GPU 和 8 GB 内存的 PC 上运行此项目 先决
模型的参数和量化
civiljiao的博客
04-09 1199
随着深度学习模型规模不断扩大，大型模型（如GPT、BERT等）的参数数量已经达到几十亿甚至上百亿级别。模型参数不仅代表了模型的学习容量，同时也直接决定了模型在训练和推理过程中对计算资源（特别是显存）的需求。本文将详细解析大模型参数量化的原理、方法。
网络压缩-量化方法对比
zyazky
10-26 3208
转自：http://blog.youkuaiyun.com/shuzfan/article/details/51678499 本次介绍的是一种压缩神经网络模型大小的方法，来自《2014 arxiv：Compressing Deep Convolutional Networks using Vector Quantization》。该方法和很多之前的神经网络压缩方法一样，基本只对全连接层有效，因此这里权作
网络压缩之参数量化（parameter quantization）
前行居士
08-31 800
用二值网络的时候，给了网络比较大的限制，给网络容量（networkcapacity） 比较大的限制，它比较不容易过拟合，所以用二值权重反而可以达到防止过拟合的效果。这样的好处平均起来，储存数据需要的位的数量就变少了，所以这个就是哈夫曼编 码，所以可以用这些技巧来压缩参数，让我们储存每一个参数的时候需要的空间比较小，最终 可以压缩到只拿一个位来存每一个参数。权重聚类是需要在训练的时候就考虑的。训练的量化可当做是损失的其中一个环节，直接塞到训练的 过程中，让训练的过程中达到参数有权重聚类的效果。
网络蒸馏算法的一些汇总和想法。
杨燕丹的博客
07-12 2085
最近在做关键点的算法，需要用到网络蒸馏的思路，但是目前大部分都是分类任务的蒸馏，偶然找到一些其他的思路，整理一下。 １．分类任务的蒸馏方法——软标签 传统的分类任务，输出就是one hot 的标签。蒸馏网络让student去学习teacher的软标签，相当于一个更真实的概率分布。这是因为分类任务有天然的概率解释，所以软标签十分合理。 ２．检测任务的蒸馏方法，这里只整理分类以外的部分 １）中...
收藏 | 一文带你总览知识蒸馏，详解经典论文
AI科技大本营
01-04 3248
「免费学习 60+ 节公开课：投票页面，点击讲师头像」作者：凉爽的安迪来源 | 深度传送门（ID：deep_deliver）【导读】这是一篇关于【知识蒸馏】简述的文章，目的是想对自己对于...
神经网络量化压缩学习笔记
lankuohsing的博客
02-15 1196
文章目录0. 前言1. 量化压缩方法简介2. 量化压缩原理2.1. 定点数与浮点数 https://jackwish.net/2019/neural-network-quantization-introduction-chn.html https://zhuanlan.zhihu.com/p/149659607 0. 前言 近年来，基于神经网络的深度学习在图像处理、自然语言处理、语音识别等领域取得了显著效果。一般情况下，一个神经网络模型越大（一般指参数量越大），模型的拟合能力更强，准确度越高。这将进一步导.
神经网络参数量化，模型压缩论文笔记Training with Quantization Noise for Extreme Model Compression
Li Kang 笔记本
05-05 3338
本文介绍了一种新的神经网络参数量化的方法，能够极大压缩神经网络对内存的消耗。 量化的方法有两类，一类是标量定点化，就是我们常用的定点方式。通过确定变量的动态范围，最大值和最小值，来确定变量需要的位数。文中提到了int4和int8。另一类是向量定点化，将一个列向量，分成多个子向量。子向量之间共用一套编解码本。能实现更大的压缩率。本文称为Product Quantization，简称为PQ。 一般的定点化是对训练的结果进行定点化，但是这样会带来性能的下降。常用的解决方法是在训练时就使用定点数而不
基于tensorflow的模型参数量化
倒霉茄子的博客
06-12 1877
本人参考这篇文章https://fjdu.github.io/machine/learning/2016/07/07/quantize-neural-networks-with-tensorflow.html 进行基于tensorflow的模型参数量化工作，尝试将浮点数参数量化成8位。此处主要介绍实践过程中碰到的坑。 已有环境：ubuntu 16.04, tensorflow 1.8, CUDA...
内容比较少、不够细。我该怎么办（通过上述研究背景及国内外研究现状，本人拟开展关于以下方面的研究： 1、边缘设备上的缓存优化：提升边缘端大语言模型对key-value缓存利用率和压缩率。 2、探索更佳的部署策略：从数据并行与模型并行的角度，寻找更有效的数据分割、模型分割方法，搜索最佳的吞吐量-传输成本-能耗的联合优化方案，充分挖掘边缘端的计算性能。 面向边缘计算的模型轻量化：通过协同应用量化、剪枝、知识蒸馏及低秩分解等轻量化技术，在保持模型精度稳定性的前提下，构建新的吞吐量-时延-资源占用的多目标优化框架，提升计算资源受限环境中的推理性能。）
03-25
采用**动态8/4位混合量化**，对注意力矩阵使用低精度，同时通过知识蒸馏将未量化模型的输出分布迁移到轻量化模型。引用[^3]中的部署方案可集成TensorRT-Lite等推理引擎加速。 #### 5. **研究路线建议** 1. **基准...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值