多教师网络
关注
分享
扫一扫
文章平均质量分 83
一瞬にして失う
这个作者很懒，什么都没留下…
展开
-
OMGD:用于GAN压缩的在线多粒度蒸馏
提出了一种在线多粒度蒸馏（OMGD）技术来学习轻量级GAN。引入面向GAN的在线方案，交替促进教师和学生生成器，教师帮助学生热身，逐步引导优化方向。OMGD还充分利用了来自互补教师生成器和来自不同层的辅助监督信号的多粒度概念。原创 2022-09-13 19:09:00 · 942 阅读 · 0 评论 -
MTKD-IIRC：增量隐式精化分类的多教师知识蒸馏
超类知识可能被子类知识占据。提出了一种多教师知识蒸馏（MTKD）策略来解决这个问题。使用初始模型（超类教师）和最后一个模型（普通教师）为我们的学生模型提取知识。此外，使用两个教师模型可能会导致IIRC中的冗余预测问题。提出了一种简单的Top-k预测约束机制，结合我们的MTKD策略（k-MTKD），以减少不必要的预测。原创 2022-09-08 19:49:01 · 759 阅读 · 0 评论 -
CA-MKD：置信多教师知识蒸馏
介绍了多教师知识蒸馏的预测和中间特征的置信感知机制。教师的置信度是基于他们的预测或特征与每个训练样本的可靠性识别的基本事实标签之间的相似度来计算的。在标签的指导下，我们的技术有效地整合了来自多个教师的不同知识，用于学生培训。原创 2022-09-06 15:34:52 · 1157 阅读 · 0 评论 -
AMTML-KD：自适应多教师多级知识蒸馏
开发了自适应多教师多级知识蒸馏（AMTML-KD）学习框架。1、AMTML-KD在特定数据实例中学习不同教师网络的不同重要性权重，确保多个教师的软目标更好地集成，以传输高水平知识。2、提出了一种简单的多组提示策略，使AMTML-KD能够从多个教师那里学习中级知识。原创 2022-09-03 22:00:43 · 3678 阅读 · 4 评论