00000cj的博客

针对前背景、空间位置、通道之间的差异，本文提出了focal distillation，在分离前背景的同时，还计算了教师特征不同空间位置和通道的注意力，使得学生专注于学习教师的关键像素和通道。但是只关注关键信息还不够，在检测任务中全局语义信息也很重要。为了弥补focal蒸馏中缺失的全局信息，作者还提出了global distillation，其中利用GcBlock来提取不同像素之间的关系，然后传递给学生。

在预测模拟中，学生模型的预测需要同时模拟GT和教师模型的预测，但是教师模型的预测常常会和GT有很大的差异，学生模型在蒸馏过程中经历了一个矛盾的学习过程，作者认为这是阻碍预测模型获得更高性能的主要原因。为了缓解学习目标冲突的问题，本文提出了一种新的蒸馏方法CrossKD，将学生检测头的中间特征送入教师的检测头，得到的预测结果与教师的原始预测结果进行蒸馏，这种方法有两个好处，首先KD损失不影响学生检测头的权重更新，避免了原始检测损失和KD损失的冲突。此外由于交叉头的预测和教师的预测共享了部分教师的检测头，两

之前大多数用于密集预测dense prediction任务的蒸馏方法在空间域spatial domain中将教师和学生网络的激活图进行对齐，通过标准化normalize每个空间位置的激活值，并减小point-wise and/or pair-wise之间的差异来实现知识的传递。和之前的方法不同，本文提出对每个通道的激活图进行标准化从而得到一个soft probabality map，通过减小两个网络channel-wise概率图之间的KL散度，使蒸馏过程更关注每个通道最显著的区域，这对密集预测任务非常有

本文提出了一种的新的分治蒸馏策略，分别传递语义知识和定位知识。语义知识还是使用原始的分类Logit蒸馏。对于定位知识，本文重新制定了定位的知识传递过程，并通过将边界框转换成概率分布，提出了一种简单而有效的定位蒸馏（LD）方法。这与之前将教师网络的输出作为额外的回归目标的方法不同（如图2中的Pseudo BBox Regression）。得益于概率分布的表示，本文提出的LD可以有效地将教师网络学到的丰富的定位知识传递给学生模型。此外，基于提出的分治蒸馏策略，作者进一步提出了有价值定位区域（Valuable L