m0_60231311的博客

目前可用的领域自适应（DA）方法通常不太适合遥感图像分类的实际DA场景，因为这些方法（如无监督DA）依赖于丰富的关于源域和目标域标签集之间关系的先验知识，并且由于隐私或机密性问题，源数据通常不可访问。为此，我们提出了一种实用的通用DA （UniDA）设置，用于遥感图像场景分类，该设置不需要对标签集有先验知识。此外，针对源数据不可用的情况，提出了一种新的无源数据UniDA方法。模型的体系结构分为源数据生成阶段和模型自适应阶段。

现有的方法大多侧重于从单个源领域转移知识，但单个源领域的信息可能不足以完成目标任务。为了丰富可转移信息，以往的一些研究转向了多视角表征。然而，它们只是简单地连接多视图特征，这可能导致信息冗余。本文提出了一种多源域自适应的动态分类器对齐（DCA）方法，该方法通过样本自动对齐多视图特征驱动的分类器。研究每个视图的重要性和每个源域的贡献。为了确定多个视图的重要程度，通过生成辅助分类器构建了一个重要学习函数。为了学习源组合参数，开发了域鉴别器来估计样本属于多个源域的概率。

在本文中，我们的目标是通过探索卫星/空中/地面视图的潜在相关性来学习图像的统一表示。受领域自适应(DA)最新进展的启发，我们为此提出了一种新的特定任务的DA方法。与传统的DA方法不同的是，该方法不仅应用了特定于任务的分类器，而且在自适应过程中针对不同的领域引入了特定于领域的任务。实验在两个新提出的地面/卫星到空中场景适应(GSSA)数据集上进行。由于地面/卫星场景与航空场景之间的语义差距远大于地面场景之间的语义差距，因此这些场景之间的数据处理任务比传统的数据处理任务更具挑战性。

无监督域自适应旨在将学习到的知识从一个有标记的源领域转移到另一个无标记的目标领域。大多数现有的UDA方法都是使用基于卷积神经网络(cnn)的框架，从领域层面或类别层面学习域不变特征表示。基于类别级别的UDA的一个基本问题是为目标域中的样本产生伪标签，这些伪标签通常过于嘈杂，无法进行准确的域对齐，不可避免地影响了UDA的性能。随着Transformer在各种任务中的成功，我们发现Transformer中的交叉注意对噪声输入对具有鲁棒性，可以更好地进行特征对准，因此本文将Transformer用于具有挑战性的U

大多数UDA方法在公共嵌入空间内对齐特征，并应用共享分类器进行目标预测。然而，由于当域差异较大时，可能不存在完美对齐的特征空间，因此这些方法存在两个局限性。首先，由于缺乏目标标签监督，强制领域对齐会降低目标领域的可辨别性。其次，源监督分类器不可避免地会偏向源数据，从而在目标域表现不佳。为了缓解这些问题，本文提出在两个专注于不同领域的单独空间中同时进行特征对齐，并为每个空间创建专门针对该领域的面向领域的分类器。

大型视觉语言模型(VLMs)在无监督域自适应任务中表现出良好的zero-shot学习性能。然而，大多数针对vlm的迁移方法要么关注语言分支，要么关注视觉分支，而忽略了这两种模式之间微妙的相互作用。在这项工作中，作者引入了一个用于无监督域自适应的统一模态分离(UniMoS)框架。利用模态间隙研究的见解，我们制作了一个灵活的模态分离网络，将CLIP的特征明显地分解为语言相关和视觉相关的组件。作者提出的模态集成训练(MET)方法促进了模态无关信息的交换，同时保持了模态特定的细微差别。使用模态鉴别器跨域对齐特征。

论文：Domain Adaptive Remote Sensing Scene Recognition via Semantic Relationship。

传统的无监督域自适应方法假设所有源类别都存在于目标域中。在实践中，对于这两个领域之间的类别重叠可能知之甚少。虽然有些方法使用部分或开放集类别处理目标设置，但它们假设特定设置是已知的先验设置。本文提出了一个更普遍适用的领域自适应框架，可以处理任意类别的转移，称为通过熵优化的领域自适应邻域聚类(DANCE)。DANCE结合了两个新颖的思想:首先，由于不能完全依赖源分类来判别目标的特征，因此提出了一种新的邻域聚类技术，以自监督的方式学习目标域的结构。

无监督域自适应(UDA)是一种非常有效的方法，可以将具有标记数据的源域知识转移到具有未标记数据的目标域。由于目标域中缺乏标记数据以及可能存在未知类，开放集域适应(open-set domain adaptation, ODA)已成为在训练阶段识别这些类的潜在解决方案。虽然现有的ODA方法旨在解决源域和目标域之间的分布变化，但大多数方法在源域上对ImageNet预训练模型进行微调，并在目标域上进行自适应。

现有的对抗性UDA方法通常采用额外的鉴别器来与特征提取器进行最小-最大博弈。然而，这些方法大多未能有效利用预测的判别信息，从而导致生成器的模式崩溃。为了解决这个问题，本文设计了一个简单而有效的对抗性范式，即无鉴别器的对抗性学习网络（DALN），其中类别分类器被重新用作鉴别器，通过统一的目标实现显式的领域对齐和类别区分，使得DALN能够利用预测的判别信息来进行充分的特征对准。本文引入了一个Nuclear-norm Wasserstein discrepancy (NWD)，它对执行判别具有明确的指导意义。

最近，很多工作致力于利用视觉转换器(ViT)来完成具有挑战性的无监督域适应(UDA)任务。它们通常采用ViT中的Cross Attention进行直接的域对齐（CDTrans）。然而，由于Cross Attention的性能高度依赖于目标样本的伪标签质量，当域间隙较大时，域对齐的效果就会降低。

主流的UDA方法学习两个领域之间的对齐特征，这样在源特征上训练的分类器就可以很容易地应用于目标特征。然而，这种转移策略有可能破坏目标数据的内在区别。为了减轻这种风险，基于结构域相似性的假设，提出通过对目标数据的判别聚类来直接揭示内在的目标判别。使用取决于假设的结构域相似性的结构源正则化来约束聚类解。从技术上讲，使用了一个灵活的基于深度网络的判别聚类框架，该框架最小化了网络的预测标签分布和引入的辅助标签分布之间的KL差异；

以前的深域自适应方法主要学习全局域偏移，导致在没有捕获细粒度信息的情况下迁移学习性能不令人满意。近年来，越来越多的研究人员关注子域自适应，其重点是准确对齐相关子域的分布。然而，它们大多是对抗性方法，包含几个损失函数，收敛缓慢。基于此，本文提出了一种深层子域自适应网络（DSAN），该网络通过基于局部最大均值差异（LMMD）在不同域之间对齐域特定层激活的相关子域分布来学习转移网络，不需要对抗性训练，收敛速度快。

无监督领域自适应方法倾向于使用固定的神经结构来优化模型，这在现实世界中不是很实用，因为目标数据通常由不同的资源有限的设备处理。因此，促进跨各种设备的架构适配是非常必要的。在本文中，引入了一个简单的框架，即Slimmable Domain Adaptation，以通过权重共享模型库来改进跨域泛化，从中可以对不同容量的模型进行采样，以适应不同的精度和效率权衡。该框架中的主要挑战在于同时提高模型库中众多模型的自适应性能。

半监督域自适应（SSDA）涉及学习将看不见的目标数据与一些标记和大量未标记的目标数据以及来自相关域的许多标记源数据进行分类。当前的SSDA方法通常旨在通过特征空间映射和伪标签分配将目标数据与标记的源数据对齐。然而，这种面向源的模型有时会将目标数据与错误类的源数据对齐，从而降低分类性能。本文提出了一种新的源自适应范式，该范式调整源数据以匹配目标数据。关键思想是将源数据视为理想目标数据的噪声标记版本。然后，本文提出了一个SSDA模型，该模型借助于从目标角度设计的强大的清洁器组件来动态地清除标签噪声。

现有的基于对抗性的域自适应方法通过欺骗鉴别器来实现域分布的混淆和表征的跨域对齐。然而，传统的方法忽略了不同特征之间可转移性的区别，导致不可转移的域变化特征，例如从背景中提取的特征，也被迫在域之间对齐。为此，本文提出了一种特征过滤机制，并设计了相应的神经网络，实现了基于特征可转移性的选择性特征对齐;这被称为可转移特征过滤网络(TFFN)。本文构建了一个可转移特征学习框架，该框架包含两个子过程:过滤，其中基于注意机制的过滤网络在额外的监督下自动提取可转移特征;

在本文中，提出了一种基于双师生的分离机制(DTSSM)，据我们所知，这是DTS结构驱动的分离机制在开放集域自适应中的首次应用。这种机制可以更准确地区分已知和未知的样本，这是基于一个合理的假设，即没有接触目标样本的学生分类器更善于感知目标样本中的未知类别。此外，我们建立了两个结构一致的师生组合，并在训练过程中通过干预措施使其互补。因此，具有分类歧义的样本接近分类边界，而不是被错误分类。考虑到单独的分离策略是不够的，为了解决OSDA的第二个挑战，提出了一个选择性对抗模型。

通过找到一个与私有子空间正交的共享子空间，我们的模型能够分离每个域特有的信息，并在此过程中生成对当前任务更有意义的表示。到此，源域样本进入编码器到从解码器出来的过程中，两个解码器分别提取了私有和公有特征，同时又因为解码器要求公有特征和私有特征组合在一起要能够构成完整的源域样本，所以又保证了特征的完整性。那么可以说如果一个分类器在源域的公有部分上有效的话那么在目标域的源域的公有部分上同样有效，因此在训练时只需要使用带标记的源域数据对分类器进行训练，在训练完成时分类器就可以直接应用在目标域上了。

现有的基于单域鉴别器的域对抗性自适应方法只对源和目标数据分布进行对齐，而没有利用复杂的多模结构。结果，源域和目标域的数据混淆，判别结构也会混淆，这就可能导致不同分布相应的区分结构错误对齐。比如文中的例子，源域中猫这一类可能错误地和目标域中狗这一类对齐。本文提出了一种多对抗性域自适应算法(MADA)方法，该方法捕获多模式结构，以支持基于多个域鉴别器的不同数据分布的细粒度对齐。利用线性时间内的反向传播计算梯度，通过随机梯度下降实现自适应。

我们提出了一种新的对抗性学习方法，称为域对称网络（SymNets），以克服通过两级域混淆损失来调整特征和类别在域之间的联合分布的限制。类别级别的混淆损失通过驱动中间网络特征的学习在两个域的相应类别上是不变的而在域级别上有所改善。作为SymNets的一个组成部分，通过跨域训练方案学习显式目标任务分类器。在三个基准数据集上的实验验证了我们提出的SymNets的有效性。

虽然特征空间方法很难解释，有时无法捕捉像素级和低级别的域偏移，但图像空间方法有时无法结合与最终任务相关的高级语义知识。本文提出了一种模型，该模型使用生成图像空间对齐和潜在表示空间对齐在域之间进行自适应。我们的方法，语义损失既引导整体表示具有鉴别性，又加强域之间映射前后的语义一致性。我们的方法提供了一个统一的领域对抗性学习模型，该模型结合了先前图像级别方法的可解释性和低级别结构一致性。

当ω→ 0，这意味着全局分布对齐更重要，DAAN将退化为DANN。当ω→ 1，这意味着两个域之间的全局分布相对较小，因此每个类的局部子域分布占主导地位，DAAN将退化为MADA。对ω，只需要运行整个网络一次，并且DAAN不需要训练额外的线性分类器。

对抗性学习已被嵌入到深层网络中，用于学习解纠缠和可转移的领域适应表示。在分类问题中，现有的对抗性域自适应方法可能无法有效地对齐多模态分布的不同域。作者指出当前一些对抗域适应方法仍存在三个问题：1.只考虑了特征对齐，没有考虑标签对齐。2.当数据分布体现出复杂的多模态结构时，对抗性自适应方法可能无法捕获这种多模态结构，也就是说即使判别器完全被混淆，也无法保证此时源域和目标域足够相似。并且这种风险不能通过单独的域鉴别器将特征和类的分布对齐来解决。