Bidirectional Learning for Domain Adaptation of Semantic Segmentation详读

简介

语义分割在深度网络的驱使下发展迅速，但是大规模的数据标注太过昂贵。虽然，近期的工作可以通过生成式网络使计算机生成带标注的比较逼真的图像，但是这种方式生成的图像存在域不匹配的问题，即计算机生成的图像（源域）和测试时使用的图像（目标域）之间的差异。域适应就是着重解决这一问题的方法。在更极端的情况下，目标域甚至没有可以使用的标注标签，这种情况下带标注的数据生成问题称为无监督的域适应问题。
传统的域适应问题通过减小源域和目标域之间的均值或者方差等度量标准，将源域的数据进行一定程度的变换，映射到目标域。但这种方法很受限，且在语义分割任务中不容易实现。由于cycle gan的提出，图像到图像的域迁移问题的取得发展。具体的做法是：定义两个自网络，一个为域变换子网络，另一个为分割自网络。先使用cycle gan等域变换子网络将源域图像映射到目标域，将其和原始目标域的图像一同放入分割子网络中，对输出的特征图使用鉴别器判别，判别结果反映了域变换子网络是否逼近目标域的分布，从而进一步优化域变换子网络向目标域靠近，从而减小域差异。因此，图像的域变换子网络直接影响了整个过程以及最后分割子网络的性能。本文作者在这些工作的基础上，改进域变换子网络的学习过程，将原本的单向学习转化为双向，两个方向相互促进，进一步减少域差异。
作者提出在前向传递过程（由域变换子网络到分割网络的过程）中，先使用自监督训练分割网络。自监督的学习过程为：先使用域变换子网络生成的带标签的数据训练分割子网络，然后将分割子网络对目标域数据的分割结果中置信度高的像素块也加入到训练分割子网络的过程中，进行有监督学习，提升分割网络结果，这个过程并未使用目标域的标签，所以称为自监督。自监督有助于分割子网络实现域适应，从而有利于反向过程中域变换网络的学习。在反向过程中（由分割子网络到域变换子网络的过程），变换网络随着分割网络的学习进行更新会取得更好的结果，因此，作者提出了一个新型损失 perceptual loss，约束域经过变换网络后再分割的语义一致性（希望经过训练后的分割网络无论对于源域数据还是经变换后的数据，分割的结果差异不大，因为仅存在视觉上的变化）。域变换网络的学习同样也有助于前向过程的学习。
综上：文章