yolov5-模型蒸馏算法

已于 2024-03-13 18:44:11 修改
阅读量401 收藏
点赞数 1
分类专栏： 模型压缩 文章标签： YOLO 算法 剪枝
于 2024-03-13 17:15:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43864650/article/details/136685151
版权
本文介绍了在模型剪枝后，如何通过模型蒸馏技术来提升剪枝模型的精度。蒸馏过程中，使用未剪枝的模型作为教师网络，剪枝后的模型作为学生网络，通过调整相应的训练参数，使学生模型能学习到教师模型的知识，从而在一定程度上恢复精度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一般来说模型剪枝之后精度都会下降，微调之后会恢复一部分，但仍然达不到剪枝前的精度，因此蒸馏会在微调阶段配合使用

蒸馏是一种基于“教师-学生网络”的训练方法，教师模型参数量较大，效果更好，学生模型参数量较少，效果较差，蒸馏即让小模型学习大模型的知识，提升小模型的精度。因此需要准备教师模型和学生模型，在网络剪枝训练中一般教师模型为剪枝前的模型，学生网络为剪枝后的模型。

基本流程：
在这里插入图片描述

yolov5剪枝后的模型蒸馏：
在train.py中添加如下代码：

    parser.add_argument('--t_weights', type=str,
了解本专栏 订阅专栏 解锁全文
【知识蒸馏】yolov5逻辑蒸馏和特征蒸馏实战
m0_51579041的博客
05-21 1277
【知识蒸馏】yolov5逻辑蒸馏和特征蒸馏实战
YOLOv5改进系列(二十五) 知识蒸馏理论与实践
专注于人工智能学习，总结
12-15 2070
知识蒸馏就是把一个大的教师模型的知识萃取出来，把他浓缩到一个小的学生模型，可以理解为一个大的教师神经网络把他的知识教给小的学生网络，这里有一个知识的迁移过程，从教师网络迁移到了学生网络身上，教师网络一般是比较臃肿，所以教师网络把知识教给学生网络，学生网络是一个比较小的网络，这样就可以用学生网络去做一些轻量化网络做的事情。这是第一篇将知识蒸馏用到检测的论文。对网络进行蒸特征和蒸结果（分类和回归），蒸特征采用的FitNet的做法对backbone。
基于yolov5模型的目标检测蒸馏(LD+KD)
weixin_38252409的博客
09-06 3245
最近在看有关蒸馏（Distillation）相关的内容，也就是需要大量的计算资源及庞大的数据集去支撑大模型，以蒸馏方式转为小模型，加速推理时间与降低模型内存，有利于部署。为此，我基于yolov5模型框架，修改代码，构建一个LD+KD的蒸馏模型，并公开源码于github，供读者学习。同时，我也正在构建多头蒸馏，后期将公开源码与文章解读。点击这里。
mobile-yolov5-pruning-distillation:mobilev2-yolov5s剪枝，蒸馏，支持ncnn，tensorRT部署。超轻但性能更好！
03-19
移动式yolov5修剪蒸馏 mobilev2-yolov5s的通道修剪和蒸馏。超轻但性能更好！ TensorRT版本===> Android版本===> 背景 yolov5s在640x640分辨率下的计算量和参数量分别为8.39G和7.07M。在速度上仍然有提升空间，通过替换backbone（mobilenetv2），通道剪枝对模型进行压缩。 。本项目以工程化为基础，主要是模型端的优化。实现了常用的剪枝和蒸馏算法，并完成了一个简单的介绍和评估。将工程可用模型转换成对应的部署版本。 基准线 数据集采用Pascal VOC，训练集= train2007 + train2012 + val2007 + val2012，测试集= test2007，基线采用mobile-yolo（imagenet预训练），如果没有特别说明，第一个模块采用重点如果特定特殊说明则可以使用替换参数，batchsize
YOLO12模型蒸馏，有效涨点
最新发布
weixin_41230908的博客
04-22 924
上面提到了温度T的作用是软化便签，其简单说明就是使得输出的概率分布更加平缓，比如原始的输出（0.84, 0.11, 0.05）,那么软化后的输出（0.55, 0.30, 0.15）模型蒸馏是一种通过迁移知识从大模型（教师模型）到小模型（学生模型）的技术，旨在提升小模型的性能，其主要目的就是减少计算量和内存赵勇，便于部署。：直接对齐教师模型（Teacher）和学生模型（Student）的输出层预测结果，通过模仿教师的输出概率分布传递知识。高温（T > 1 ）时，次要类别概率被放大，传递更多类别的关系信息。
yolov5模型蒸馏
weixin_41012399的博客
12-25 1192
参考代码：https://github.com/Adlik/yolov5yolov5间的模型蒸馏，相同结构的。配置参数加载教师模型。
yolov5使用知识蒸馏
weixin_41981679的博客
02-22 6632
本文介绍的论文《Distilling Object Detectors with Fine-grained Feature Imitation》即是基于 Fine-grained Feature Imitation 技术的目标检测知识蒸馏方法。该方法将 Fine-grained Feature Imitation 应用于学生模型的中间层，以捕捉更丰富的特征信息。
【目标检测】YOLOv5遇上知识蒸馏
热门推荐
兴趣使然的创作者
10-29 1万+
本文主要来研究知识蒸馏的相关知识，并尝试用知识蒸馏的方法对YOLOv5进行改进。
yolov5 添加知识蒸馏
weixin_41981679的博客
05-26 2034
将知识蒸馏应用到yolov5中， 在不消耗额外资源的情况下显著提高了map值。
YOLOv5知识蒸馏实战篇
m0_58846303的博客
12-10 2465
YOLOv5知识蒸馏实战
【知识蒸馏】开源：Yolov5模型知识蒸馏训练（可用于自己的数据集）
梁瑛平的博客
05-07 1万+
代码地址： https://github.com/Sharpiless/Yolov5-distillation-train-inference 蒸馏训练： python train_distill.py --weights yolov5s.pt \ --teacher weights/yolov5l_voc.pt --distill_ratio 0.001 \ -- teacher-cfg model/yolov5l.yaml --data data/voc.yaml \ --e
Pruned-YOLO:使用模型修剪方法获得基于YOLOv5的紧凑模型Pruned-YOLOv5
03-25
修剪YOLO 使用模型修剪方法获得紧凑模型，即基于YOLOv5的Pruned-YOLOv5。 注意： 1.该项目基于 。 首先将其安装。 然后，使用此处提供的模型配置文件（ coco_yolov5l.yaml ）和网络模块定义文件（ common.py ）替换原始的对应文件。 2.参考 ，我们还使用次梯度方法进行稀疏度训练（ sparsity.py ）。 此外，稀疏训练和微调相结合以简化修剪流程。 在训练过程中，我们介绍了软掩膜策略和稀疏因子余弦衰变。 3.使用train_sr.py进行稀疏火车，可以直接进行修剪，而无需进行微调。 4.请把prune_channel_v5_weightingByKernel.py和prune_layer_v5_weightingByKernel.py放在主目录（ / yolov5 / ）中。 前者用于通道修剪，后者用于层修剪。 模型修剪可以由他们
yolov5 剪枝、蒸馏、压缩、量化
shiter编写程序的艺术
03-15 2411
考察神经网络时期重要的激活函数sigmoid和tanh，它们有一个特点，即输入值较大或者较小的时候，其导数变得很小，而在训练阶段（详见1.2.3节），需要求取多个导数值，并将每层得到的导数值相乘，这样一旦层数增加，多个很小的导数值相乘，结果便趋于零，即所谓梯度消失问题[插图]，这将会导致靠近输入层的隐含层的学习效果也趋于零。
yolov5知识蒸馏1：基础原理讲解及yolov5项目实战介绍
@bangbang的博客
07-30 4054
知识蒸馏(Knowledgedistillation)是提升网络性能的方法，通过一个教师网络指导学生网络的学习，教师网络是一个较大的模型，学生网络是一个较小的模型，通过教师网络学习到的知识迁移到学生网络上。训练学生网络的时候可以得到教师网络蒸馏到的softlabel知识，同时学生网络也可以从groundtruth来进行预测学习。蒸馏的关键是教师网络训练得到一个softlabel。...............
yolov5知识蒸馏
weixin_51988935的博客
04-12 749
yolov5知识蒸馏无门槛实现
YOLOv5知识蒸馏理论篇
m0_58846303的博客
12-10 721
知识蒸馏指的是同时训练两个网络，一个较复杂的网络作为教师网络，另一个较简单的网络作为学生网络，将教师网络训练得到的结果提炼出来，用来引导学生网络的结果，从而让学生网络学习得更好。
YOLOv5知识蒸馏 | 目标检测的无损涨点神器
weixin_44395210的博客
08-15 3705
在YOLOv5中，知识蒸馏的过程分为两个阶段：教师网络训练和学生网络训练。首先，使用一个较大且准确度较高的模型（教师网络）进行目标检测任务的训练。然后，将教师网络的知识通过某种方式传递给一个较小的模型（学生网络），并用学生网络进行进一步的训练。通过知识蒸馏，YOLOv5可以在保持准确性的同时大大减少模型的计算和内存开销，从而在较低的资源消耗下实现高效的目标检测。
yolov5剪枝与知识蒸馏【附代码】
z240626191s的博客
05-21 1万+
剪枝和知识蒸馏均属于模型轻量化设计，剪枝是将已有网络通过剪枝的手段得到轻量化网络，可分为和，该技术，而是通过计算各个权重或者通道的贡献度大小，剪去贡献度小的权重或通道，再，得到最终的模型，这种方法自然也是可以的，但在某些任务中，如果剪枝较多效果会很差，即便微调训练也恢复不了多少精度。，同时在我其他博客中还实现了知识蒸馏是在一个精度高的大模型和一个精度低的小模型之间建立损失函数，将大模型"压缩"到小模型中【并不是严格意义上的压缩】。
YOLOv5目标检测之知识蒸馏实战
bai666ai的博客
05-16 5378
课程链接：https://download.youkuaiyun.com/course/detail/37294 PyTorch版的YOLOv5是一个当前非常流行的目标检测器，本课程对YOLOv5进行知识蒸馏实战，来提升其性能。 知识蒸馏（Knowledge Distillation）是模型压缩的一种常用的方法。它利用性能更好的大模型的监督信息，来训练一个轻量化小模型，使小模型达到更好的性能和精度。 最早是由Hinton首次提出并应用在分类任务上，这个大模型称之为教师模型，小模型称之为学生模型。来自教师模型输出的监
YOLOv5-Lite模型源代码的机器视觉应用
资源摘要信息:"YOLOv5-Lite是一个轻量级的实时目标检测模型，它是基于YOLO（You Only Look Once）系列目标检测算法的改进版本。YOLOv5-Lite模型优化了原始YOLOv5的架构，旨在减少计算资源的消耗，同时尽量保持检测...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值