文章链接:
Background:
Distillation with Unlabeled Examples:
- 首先用一个小的人类标注的“golden”dataset 来训练或者fine-tuned 一个large teacher model;
- 然后用这个teacher model 对一个大的unlabeled dataset 生成相应的“soft pseudo labels”;
- 然后将labeled dataset 和 soft pseudo labels dataset结合起来,共同去训练student model;
Motivation:
- 以往的这个paradiam在训练student model的时候,并没有获取teacher model的信息(knowledge), 仅仅用pseudo labels的信息,而这个“bulk inference”的过程(生成pseudo labels)是time-consuming;
- 同时在训练student model的时候