RGB-infrared(RGBT)数据任务中infrared(thermal)信息的使用方式

Detection

Learning Cross-Modal Deep Representations for Robust Pedestrian Detection

这篇文章的motivation和我之前想的不一样：希望使用红外图像进行detection，但是红外图像比较难获得，标注很少，希望通过少部分的红外图像来辅助train model，但是测试时还是只使用RGB进行detection。所以用了unsupervised deep learning。
emmm好像不太好借鉴

做法是首先train a model学习RGB到infrared image的映射，得到的模型会作为后续模型的一部分，从而保留了从红外学习到的一部分经验来辅助RGB的训练（好像是可以，但是不知怎么觉得有点怪怪的）

RRN是专门学习RGB到thermal的映射（RGBT中的T是thermal而非temperature好像）

然后设计了一个multi-scale detection model，RRN是其中黄色部分：