CVPR 2019之语义分割：Geometry-Aware Distillation for Indoor Semantic Segmentation

Geometry-Aware Distillation for Indoor Semantic Segmentation

Jianbo Jiao, Yunchao We, Zequn Jie, Honghui Shi, Rynson Lau, Thomas S. Huang

简述：
本文提出通过几何感知嵌入来提取depth信息的方式以及多个多级跳变结构融合的方式进行语义分割，并通过将单个任务预测分离为语义分割和集合嵌入学习两种联合任务，以及结合所提供的信息传播和特征融合体系，得到了截止当前所能达到最好的语义分割效果的网络结构。

问题or相关工作：
数据集为RGB-D（可有大幕或双目相机获取）图像，深度就RGB来说更难以获取且传输复杂，是否可以仅有RGB输入且在最终训练结果呈现深度特征？本文提出双通道来分别对图像及深度的提取，在输出前实现post-fusion（后融合），首先不把depth信息作为输入，而是提取深度嵌入与RGB输入一起指导语义分割，并提出增量跨尺度融合方案，用以完善边缘信息，最后在预测RGB代表的标签，同时考虑3D信息。

创新点：
1.RGB Semantic Segmentation
A.为了扩大感受野，提出洞卷积
洞卷积
B.为了克服低分辨率对FCN的限制，提出了反卷积来上采样特征层