这篇博客探讨了CVPR2019中提出的关系知识蒸馏（Relational Knowledge Distillation）方法，强调学生模型应学习教师模型样本间的关系而非样本本身。知识表示为关系，包括距离和角度损失。实验表明，在人脸识别任务上，这种方法表现有效。
Relational Knowledge Distillation
Relational Knowledge Distillation
TL;DR
teacher 和 student feature 可能有 gap，student 应该学习 teacher 样本之间的关系而不是 teacher 样本本身
区别于直接蒸馏teacher 和student的特征信息，本文将teacher样本间的距离和角度以及student样本间的距离和角度作为knowledge
knowledge：relation
distance loss
-
instance 蒸馏是
对于 teacher 一个 batch 内的 N个 sample
student 一个 batch 内的 N个sample
这两个求一个 L2 或者是其他 -
rkd是
对于 teacher 一个 batch 内的 N个 sample，分别求和其他sample的距离（这里用的 L2），得到一个 NN的矩阵，代表一个 sample 和其他 sample的关系
student 一个 batch 内的 N个sample，也同样得到一个 NN矩阵
这两个 N*N 的矩阵求一个距离（这里用的 smooth L1）作为蒸馏 loss
angle loss
<
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
