66、联合集多源模型自适应用于语义分割的研究

联合集多源模型自适应用于语义分割的研究

在机器学习领域，利用无标签数据进行学习一直是个长期存在的难题。尤其是深度学习兴起后，对标注良好的数据依赖严重，这使得该问题的重要性愈发凸显。由于无监督学习难度较大，一些研究引入不同领域的标注数据，从而产生了无监督域自适应（UDA）问题。

1. 研究背景与动机

传统的UDA方法通过使用源域和目标域的数据，减少域间差距，将源域的知识借用到无标签的目标域进行学习。然而，随着保护隐私数据的法规日益严格，在某些应用中共享源域数据可能变得不切实际。因此，需要一种不直接使用源域数据就能借用源域知识的方法。

模型自适应（也称为无源域自适应）应运而生，它用源域的预训练模型替代源域数据，不受数据共享限制。预训练模型难以恢复隐私信息，且获取访问权限相对容易，存储大小也远小于训练数据。因此，使用多个不同源域的预训练模型，即多源模型自适应（MSMA），在存在多个合适源域时似乎是一种经济高效的选择。但目前对MSMA的研究还不够充分，尤其是在语义分割方面。

2. 相关工作

• 语义分割的UDA ：近年来，语义分割的UDA得到了广泛研究，常用技术包括图像到图像的转换、对抗学习和半监督学习。图像到图像的转换主要通过修改图像特征来减少视觉域差距，常使用基于GAN的模型；对抗学习引入域判别器来识别中间特征或最终输出的域，通过训练分割网络和判别器相互对抗来对齐域的特征分布；半监督学习技术由于问题设置相似，可直接应用于UDA，如伪标签学习、自集成和熵最小化。
• 多源UDA ：多源UDA方法已应用于图像分类、语义分割和目标检测等领域。