本文提出了一种针对行人重识别（ReID）任务的轻量化解决方案，旨在降低标注、场景扩展和推理计算的成本。通过Log-Euclidean相似度蒸馏损失，实现了从多个教师模型到轻量级学生网络的知识转移。此外，引入了自适应知识门控机制，以适应目标领域的变化，并有效利用少量标签数据进行训练。实验表明，该方法在无监督和半监督设置中达到了最先进的性能。
评论：log distance对我们有参考意义，多teacher其他的研究是面向无监督学习的。
Motivation:
面向应用，论文从以下几点出发：
- 要有低的标注成本。A scalable Re-ID system可以从无标签数据和半标注数据中学习。
- 要有低的场景扩展成本。当扩展新的场景时，低成本的解决cross domin的问题。
- 要有低的testing computation（inference计算量）成本。为了应对在芯片上计算的趋势，需要有更轻量级的模型。
Contribution:
(1) Reid是一个open-set的识别任务，为其的KD提出Log-Euclidean Similarity Distillation Loss.
(2)提出自适应知识门来聚合多teacher模型来学习轻量级学生网络。
(3)进一步用一个Multi-teacher Adaptive Similarity Distillation Framework来聚合他们，降低标注成本，扩展成本，testing计算成本。（实际上做的是跨域的工作，在无监督，半监督方法中达到SOTA）
论文框架：
Teacher model: trained 5 teacher models T 1, T 2, T 3, T 4
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
