论文笔记&&网络复现：Learning to Adapt Structured Output Space for Semantic Segmentation

最近阅读了一篇论文，介绍了一个语义分割中比较小众的研究方向——域自适应（Unsupervised Domain Adaptation，UDA）。小众并不意味着不重要，相反，语义分割中域自适应是一个很有意义的研究，尤其是在遥感图像处理领域。
文章为2018年CVPR中的一篇经典文章，较少了语义分割UDA几大研究领域中的一个方向——基于对抗学习的UDA。
论文地址：https://arxiv.org/abs/1802.10349
代码地址：https://github.com/wasidennis/AdaptSegNet

---

---

知识点

语义分割无监督域自适应简介

此部分转载自：https://mp.weixin.qq.com/s?__biz=MjM5MjgwNzcxOA==&mid=2247484999&idx=1&sn=ca1d84fcf15934c92fae9bd551f8a674&chksm=a6a1e80e91d6611848ea2d92ea20c6afc315d5a3c198458cc5e21769159b20f348733dbfe3d7&scene=21#wechat_redirect

1）语义分割为什么需要无监督域自适应
    在自然影像中，虽然近年来精度上取得了很大的进步，并且在实际应用中已经能够开始有所应用，但是这主要依赖于高质量的像素级的标注数据。然而这种标注是需要大量的人力和物力的。所以大家开始去探索怎么用更少的人力物力来得到一个与现有正常的语义分割同等的精度。之前的文章中也见过一个常见的想法，那就是弱监督语义分割。即用更容易获取的标签去完成语义分割。那么这里，又是另一个想法，用游戏中的合成数据来训练模型。在游戏中，我们基本不需要任何成本就能用电脑去获取游戏场景中的图片及其像素级标签。但是这种图片在分割上与真实场景的图片有着很大的差异（如图1），他们相当于两个域。如果直接用游戏场景（源域）训练的模型拿到真实场景（目标域）进行分割预测，性能会出现很大的下降。所以，无监督预适应的提出便是如何实现在一个域上训练的模型在另一个域上也能达到与源域的效果一致，从而使得我们可以以零成本训练分割模型。

    在遥感影像中，因为不同地区的景观不一致，不同传感器、不同天气导致成像不一致，使得不同地区甚至同一地区不同时间、传感器形成的数据集的风格存在着很大的差异从而形成很多个域。而遥感图像是海量的，为每一个域标注像素级标签显然不现实。所以无监督域自适应的提出也可以使得在一个地区上（源域）训练的模型能够在其他地区（目标域）上使用。

2）无监督域自适应的定义
    定义一系列相似的风格的图像集合Xs为源域。Xs有其对应的像素级标签Ys。存在另一个风格相似的图像集合Xt，定义它为目标域。Xt不存在任何标签。无监督域自适应（UDA）就是通过Xs，Xt，Yt来训练一个模型使得模型可以仅在Ys的监督之下，也能较好的在目标域上达到相近的性能。

3）无监督的自适应的几个研究方向
以下是根据所阅读的文献对无监督自适应的方法的大致分类：
1）基于对抗学习：这一类的方法出发点在于目标域与源域在同一Encoder后编码的特征能够尽量相似。主要在FCAN与ADVENT的基础上寻求突破与创新。
2）风格迁移：这一类的方法出发点在于转换源域图片的风格使得其与目标域相似。代表方法有CycleGAN。