Knowledge Distillation(8)——Learning Efficient Object Detection Models with Knowledge Distillation

之前博客整理的论文都是knowledge distillation及其变体,作为机器学习的一种方法的研究发展历程。从这篇博客开始,我将介绍其在CV领域的一些具体的用法。

本文是knowledge distillation在detection上成功应用的一个例子。

概述

knowledge distillation和hint learning在classification已经很成功了。然而对于detection,soft target不再是单一的类别概率输出,regression、proposal、less voluminous labels(较少的标签)都是在detection种使用distillation的挑战:
在这里插入图片描述
本文应该是最先在detection种成功使用distillation的,主要idea有:

  1. end-to-end 使用distillation方式训练
  2. loss定义,a) weighted cross entropy loss for classification b) teacher bounded regression loss for knowledge distillation c) adaptation layers for hint learning
    在这里插入图片描述

Method

整体框架:
在这里插入图片描述
总的loss有三大部分。 L H i n t L_{Hint} LHint</

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值