【论文阅读】Self-Knowledge Distillation with Progressive Refinement of Targets

已于 2022-07-13 11:26:05 修改
阅读量1.6k 收藏 1
点赞数
于 2022-07-13 11:24:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Artistzq/article/details/125597639
版权

机器学习 深度学习 人工智能

系列文章目录

文章目录

【阅读笔记】【知识蒸馏】Self-Knowledge Distillation with Progressive Refinement of Targets

阅读笔记，非全文翻译

问题

  1. KL散度

Abstract

  • 提出了一个简单有效的正则方法：Progressive self-knowledge distillation (PS-KD)，在训练过程中蒸馏自己的知识。
  • 一个模型既是教师，也是学生，即自己教自己。
  • 训练目标是由ground-truth和模型自己之前预测的结果组合而成的
  • 除了提升accuracy准确率，PS-KD还对calibration等指标有帮助
  • 开源代码

Introduction

  • 标签平滑LS的问题：有无更有效的方法来平滑标签，以获得更informative的标签
  • 作者提出PS-KD，从模型自身中蒸馏出知识来软化标签，再训练自己
  • 即使教师不如学生，学生也可以被加强
  • PS-KD可以被用在任意监督学习上，只要他的方法是使用groundtruth作为硬标签

相关工作

  • KD是用更大更好的网
最低0.47元/天 解锁文章
Artistzq
关注
Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读
PyBigStar的博客
02-06 2473
Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读  这是一篇2020年6月挂载arxiv上的论文，目前还处于under review。这篇论文从正则化方法可以提高网络的泛化能力这一点出发，提出了一个简单且有效的正则化方法——Self-KD，即自知识蒸馏。从作者所做的一系列实验可以看出来，Self-KD不仅在提高精度上面起到了作用，还能提供高质量的置信度估计（Expected Calibration Error，E
【2021自我知识蒸馏】Extracting knowledge from features with multilevel abstraction
qq_22497977的博客
03-26 3929
【2021.12.8自我知识蒸馏】Extracting knowledge from features with multilevel abstraction一· 本文框架(LFMA)二. 框架具体1.额外层：Extra Layer2.集成3.损失函数4.特征裁剪三. 实验 一· 本文框架(LFMA)    从多级抽象的特征中提取知识(LFMA)：Extracting Knowledge from Features with Multilevel Abstraction    自蒸馏 (SKD) ： Sel
Regularizing Class-wise Predictions via Self-knowledge Distillation 论文阅读笔记
read, note and comment papers
11-12 774
Regularizing Class-wise Predictions via Self-knowledge Distillation 理解了什么是知识蒸馏就能理解这篇文章的意义。 知识蒸馏一般用于教师-学生网络，也就是说，在分类任务下，有一个训练得很完善的网络，对某一个样本输出logit值向量，利用这个logit值向量来监督一个学生网络，从而达到比gt label的one-hot监督更好的监督效果。 而本文提出的叫自知识蒸馏，也就是利用网络自身的logit值来监督自身，是对同类的不同样本而言的。 .
Knowledge Distillation 知识蒸馏 之 Hint layer & self-knowledge distillation
hxxjxw的博客
03-29 777
Hint layer是《FitNets: Hints for Thin Deep Nets》提出的一个概念 Hint定义是：teacher的隐含层输出，用来引导student的学习过程。类似的又从student中选择一个隐含层叫做guided layer，我们希望guided layer能预测出与hint layer相近的输出。 ...
自蒸馏、知识蒸馏
m0_48504824的博客
10-20 5687
自蒸馏（Self Distillation）：是采用有监督学习进行知识蒸馏。只是知识蒸馏的方法，采用的方式是teacher模型和student模型是一个模型，也就是一个模型来指导自己进行学习，完成知识蒸馏，所以是自蒸馏，自己蒸馏知识来指导自己。 自监督学习知识蒸馏：是采用自监督学习进行知识蒸馏，采用数据增强、对比学习等自监督学习的方法来进行知识蒸馏，提升模型准确率。 自蒸馏（Self Distillation）是三种知识蒸馏学习方法的一种：离线蒸馏（Offline Distillation）、在线蒸馏（On
知识蒸馏之自蒸馏
qq_35561971的博客
03-03 2万+
Attention Distillation@TOC Attention Distillation in CVPR\AAAI (from 2021 to 2022) 本文整理了AAAI2021/AAAI2022/CVPR2021中的注意力蒸馏类文章（强调feature-based knowledge distillation）,后续可能会继续更新其他计算机视觉领域顶会中的相关工作，欢迎各位伙伴相互探讨。 背景知识-注意力蒸馏 1.定义：注意力蒸馏 （Attention distillation）：用于把大网
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
Object Detection in 20 Years A Survey 论文阅读笔记
weixin_43422466的博客
04-16 2578
1.Introduction 作为计算机视觉的基本问题之一，目标检测构成了许多其他计算机视觉任务的基础，例如实例分割，图像捕获，对象跟踪等。从应用的角度来看，目标检测可分为两个研究主题“general object detection”和“detection applications”，前者旨在探索在统一框架下检测不同类型目标的方法，以模拟人类的视觉和认知，后一种指的是特定应用场景下的检测，例如行...
【论文笔记_自监督知识蒸馏】Refine Myself by Teaching Myself : Feature Refinement via Self-Knowledge Distillation
qq_45128278的博客
10-22 4427
通过自学来完善自己：基于自知识蒸馏的特征提取 作者：Mingi Ji， Seungjae Shin， Seunghyun Hwang， Gibeom Park1 Il-Chul Moon 摘要 知识提取是一种将知识从预先训练的复杂教师模型转移到学生模型的方法，因此在部署阶段，较小的网络可以取代较大的教师网络。为了减少培训大型教师模型的必要性，最近的文献介绍了一种自我知识蒸馏方法，该方法在没有预先培训的教师网络的情况下，逐步训练学生网络提取自己的知识。虽然自知识蒸馏在很大程度上分为基于数据增强的方法和基于辅助
【2020】自我蒸馏分类改进Regularizing Class-wise Predictions via Self-knowledge Distillation
qq_22497977的博客
02-21 1301
【2020】Regularizing Class-wise Predictions via Self-knowledge Distillation 具有数百万个参数的深度神经网络可能由于过拟合而泛化能力较差。本文通过自我蒸馏增加正则化（惩罚项），从而减轻过拟合。具体：取同一分类的不同样本进行分类预测，要求产生相似的错误分类，而传统分类未考虑预测分布的一致性。结果：防止过拟合+减少内部阶级差异。 ...
【论文笔记_自蒸馏_2020】Regularizing Class-wise Predictions via Self-knowledge Distillation
qq_45128278的博客
07-14 1461
具有数百万个参数的深度神经网络可能会因为过度拟合而导致泛化效果不佳。为了缓解这个问题，我们提出了一种新的正则化方法，对类似样本之间的预测分布进行惩罚。特别是，我们在训练期间提炼出同一标签的不同样本之间的预测分布。这导致了单个网络的暗知识（即关于错误预测的知识）的正则化（即自我知识的提炼），迫使它以类的方式产生更有意义和一致的预测。因此，它减轻了过度自信的预测，减少了类内变化。我们在各种图像分类任务上的实验结果表明，这种简单而强大的方法不仅可以显著提高现代卷积神经网络的泛化能力，而且可以提高其校准性能。…..
知识蒸馏综述：蒸馏机制
小白学视觉
07-18 519
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达感性上理解三种蒸馏方式：离线蒸馏可以理解为知识渊博的老师给学生传授知识。在线蒸馏可以理解为教师和学生一起学习。自蒸馏意味着学生自己学习知识。1. 离线蒸馏 Offline Distillation上图中，红色表示pre-trained, 黄色代表To be trained。早期的KD方法都属于离线蒸馏，将一个预训练好的教师模型的...
【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解
热门推荐
Roaddd的博客
02-24 3万+
知识蒸馏综述
【深度学习】（一）知识蒸馏
mjiansun的专栏
08-17 2216
近年来，知识提炼中的神经结构搜索，即在教师模型的指导下，对学生结构和知识转移进行联合搜索，将是未来研究的一个有趣课题。Offline Distillation缺点是教师网络通常容量大，模型复杂，需要大量训练时间，还需要注意教师网络和学生网络之间的容量差异，当容量差异过大的时候，学生网络可能很难学习好这些知识。然而，现有的在线方法（如相互学习）通常不能解决在线设置中的大容量教师，因此，进一步探索在线设置中教师和学生模型之间的关系是一个有趣的话题。这部分将探讨的教师模型和学生模型的结构之间的关系，如上图所示。.
【CVPR 2021】Refine Myself by Teaching Myself : Feature Refinement via Self-Knowledge Distillation
梁瑛平的博客
07-22 963
【CVPR 2021】Refine Myself by Teaching Myself : Feature Refinement via Self-Knowledge Distillation论文地址：主要问题：主要思路：具体实现：基本符号：Self-Teacher Network：Self-Feature Distillation：实验结果：分类：分割：联系作者：我的公众号： 论文地址： https://arxiv.org/abs/2103.08273 主要问题： 作者认为训练教师模型太耗时间，因此从自我
Refine Myself by Teaching Myself:Feature Refinement via Self-Knowledge Distillation 中文版 (bibtex引用格式)
分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。
12-14 1329
深度神经网络（DNNs）由于卷积神经网络的指数级发展，已被应用于计算机视觉的各个领域[7,27,12]。为了在移动设备上取得成功，视觉任务需要克服有限的计算资源[11,42]。为解决这一问题，模型压缩已成为一个关键的研究任务，而知识蒸馏是一项突出的技术，具有良好的压缩效果和相当的性能[9]。知识蒸馏是一种从预训练的教师网络向学生网络转移知识的方法，使得在部署阶段较小的网络可以取代一个大型教师网络。知识蒸馏通过接收教师网络的知识，可以利用以下方式：1）作为软标签的类别预测[9]；
【论文笔记_自蒸馏_知识蒸馏_2022】Self-Distillation from the Last Mini-Batch for Consistency Regularization
qq_45128278的博客
04-16 5182
摘要 知识提炼（KD）作为一种强大的正则化策略，通过利用学到的样本级软目标来提高泛化能力，显示了光明的前景。然而，在现有的KD中采用复杂的预训练教师网络或同伴学生的集合，既耗时又耗费计算成本。为了实现更高的蒸馏效率，人们提出了许多自我KD方法。然而，它们要么需要额外的网络结构修改，要么难以并行化。为了应对这些挑战，我们提出了一个高效、可靠的自蒸馏框架，命名为 “来自最后小批量的自蒸馏”（DLB）。具体来说，我们通过限制每个小批的一半与前一个迭代相吻合来重新安排顺序采样。同时，其余的一半将与即将到来的迭代相.
minilm: deep self-attention distillation for task-agnostic compression of pr
最新发布
01-24
minilm是一种基于深度自注意力蒸馏的任务无关压缩模型。它采用自注意力机制来捕捉输入序列中的长期依赖关系，从而能够在不丢失重要信息的情况下将模型压缩到更小的规模。这种压缩技术对于处理大规模数据和提高模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值