画心

当前用于视觉分割的知识蒸馏 (KD) 方法通常指导学生模仿教师网络从独立数据样本生成的结构化信息。然而，他们忽略了对 KD 有价值的跨图像的像素间全局语义关系。本文提出了一种新的跨图像的关系知识蒸馏 (CIRKD)，其重点是在整个图像之间迁移 pixel-to-pixel 和 pixel-to-region 的关系。其中的动机是一个好的教师网络可以根据全局像素依赖性构建一个结构良好的特征空间。CIRKD 使学生更好地模仿教师的结构化语义关系，从而提高分割性能。...

TIP 2022 - 蒸馏位置自适应：Spot-adaptive Knowledge Distillation本文已授权极市平台, 并首发于极市平台公众号. 未经允许不得二次转载.原始语雀文档：https://www.yuque.com/lart/gw5mta/vhbggb论文：https://arxiv.org/abs/2205.02399代码：https://github.com/zju-vipa/spot-adaptive-pytorch内容摘要知识蒸馏（KD）已成为压缩深神经网

Knowledge Adaptation for Efficient Semantic Segmentation文章目录Knowledge Adaptation for Efficient Semantic Segmentation主要工作网络结构Auto-EncoderFeature AdapterAffinity Distillation ModuleTrain Process实验细节一些思...

Structured Knowledge Distillation for Semantic Segmentation文章目录Structured Knowledge Distillation for Semantic Segmentation主要工作网络结构Pixel-wise distillationPair-wise distillationHolistic distillation优化过...

模型压缩之蒸馏算法小结文章目录模型压缩之蒸馏算法小结输出配准Distilling the Knowledge in a Neural Network（NIPS 2014）Deep Mutual Learning（CVPR 2018）Born Again Neural Networks（ICML 2018）直接配准拟合注意力图Paying More Attention to Attention: ...

Distilling Knowledge From a Deep Pose Regressor Network文章目录Distilling Knowledge From a Deep Pose Regressor Network主要工作主要结构损失函数原始的蒸馏使用student&imitation loss最小值将Imitation loss作为辅助损失将teacher loss作为损...