m0_60231311的博客

通过提示，大规模预训练模型变得更具表现力和强大，近年来引起了人们的极大关注。虽然这些大型模型具有zero-shot能力，但一般来说，仍然需要标记数据来使它们适应下游任务。为了克服这一关键限制，我们提出了一个无监督微调框架，直接对模型进行微调或对未标记的目标数据进行提示。演示了如何通过对齐从提示和目标数据中提取的离散分布来将本文方法应用于语言增强视觉和掩码语言模型。为了验证我们的方法的适用性，我们在图像分类、情感分析和自然语言推理任务上进行了大量的实验。

本文提出了离散概率分布的平均作为Monge-Kantorovich最优传输空间重心的新定义。为了克服数值求解这类问题所涉及的时间复杂性，原始的Wasserstein度量被一维分布上的切片近似所取代。这使我们能够引入一种新的快速梯度下降算法来计算点云的Wasserstein质心。这个概率重心的新概念可能会在计算机视觉中找到应用，在那里人们想要平均定义为分布的特征。我们展示了纹理合成和混合的应用，其中纹理的特征是对多尺度定向滤波器组的响应分布。这就提供了一种简单的方法来导航颜色纹理的凸域。

现有的对抗性UDA方法通常采用额外的鉴别器来与特征提取器进行最小-最大博弈。然而，这些方法大多未能有效利用预测的判别信息，从而导致生成器的模式崩溃。为了解决这个问题，本文设计了一个简单而有效的对抗性范式，即无鉴别器的对抗性学习网络（DALN），其中类别分类器被重新用作鉴别器，通过统一的目标实现显式的领域对齐和类别区分，使得DALN能够利用预测的判别信息来进行充分的特征对准。本文引入了一个Nuclear-norm Wasserstein discrepancy (NWD)，它对执行判别具有明确的指导意义。

现有的大多数基于最优传输的工作忽略了域内结构，只实现了粗略的成对匹配。分布在聚类边缘附近或远离其对应类中心的目标样本很容易被从源域学习的决策边界错误分类。在本文中，提出了用于无监督领域自适应的可靠加权最优传输（RWOT），包括新的收缩子空间可靠性（SSR）和加权最优传输策略。具体而言，SSR利用空间原型信息和域内结构来动态测量跨域的样本级域差异。此外，利用基于SSR的加权最优传输策略来实现精确的成对最优传输过程，减少了目标域中决策边界附近样本带来的负迁移。RWOT还配备了判别质心聚类利用策略来学习迁移特征。

最近的研究人员进一步指出了局部水平对齐的重要性，并提出利用最优传输（OT）理论构建实例对对齐。然而，现有的基于OT的UDA方法仅限于处理类不平衡挑战，并且在考虑大规模训练情况时引入了繁重的计算开销。为了解决上述两个问题，本文提出了一种基于聚类的最优传输（COT）算法，该算法将对齐过程公式化为最优传输问题，并通过端到端的方式构建源域和目标域中聚类中心之间的映射。通过对聚类中心进行这种对齐，COT算法消除了类不平衡造成的负面影响，同时降低了计算成本，并在几个权威的基准数据集上实现了最先进的性能。

介绍了一种新的基于最优运输（OT）的不平衡分类自动重加权方法。该方法将不平衡训练集呈现为其训练实例上的待学习分布，每个训练实例都与概率权重相关联。类似地，我们的方法将另一个平衡的元集视为示例上的平衡分布。通过根据定义的成本函数最小化两个分布之间的OT距离，将权向量的学习公式化为分布近似问题。我们提出的重新加权方法绕过了元集上常用的分类损失，并使用OT来学习权重，从而在每次迭代时摆脱了权重学习对相关分类器的依赖。这是一种不同于现有大多数重新加权方法的方法，可能为未来的工作提供新的思路。

无监督域自适应是指在没有任何标记样本的情况下，通过从有足够标记样本的源域转移知识来学习目标域的分类模型。源域和目标域通常共享相同的标签空间，但具有不同的数据分布。在本文中，考虑了一个更困难但尚未充分探索的问题，称为“少样本域自适应”，其中分类器应该在只有少量源域样本的情况下很好地泛化到目标域。在此问题中，我们通过混合最优传输模型来重新定义源样本和目标样本之间的联系。将混合机制集成到最优传输中，通过同时学习跨域对齐矩阵和域不变分类器来增强源分布并对齐两个概率分布，从而实现少样本域自适应。

通用领域自适应(Universal Domain Adaptation, UniDA)的目的是在不受标签集约束的情况下，将知识从源领域转移到目标领域。由于两个领域都可能包含私有类，因此确定领域对齐的目标公共样本是UniDA的一个基本问题。大多数现有方法需要手动指定或手动调整阈值来检测共同样本，因此由于共同类别的不同比例，它们很难扩展到更现实的UniDA。此外，由于这些私人样本被视为一个整体，它们无法识别目标私人样本之间的不同类别。

由于知识从多个源域转移到目标域，多源域自适应比传统的数据分析更具挑战性。为此，本文提出了一种基于最优传输和模仿学习理论的多源数据挖掘模型。更具体地说，我们的方法由两个合作代理组成:教师分类器和学生分类器。教师分类器是一个综合专家，它利用领域专家的知识，理论上可以保证完美地处理源示例，而作用于目标领域的学生分类器试图模仿作用于源领域的教师分类器。我们基于最优传输的严谨理论使这种跨域模仿成为可能，并且有助于减轻数据迁移和标签迁移，这是数据分析研究中固有的棘手问题。

直观地说，OT中的小批量方案可以分解为两个步骤:(1)从两个原始度量的样本中求解每一对小批量之间的局部OT;(2)将局部OT解组合成全局解。如上所述，m-OT的主要问题在于第二步，所有对的小批量在总运输损失中起着相同的作用，同时，来自Xn的小批量更倾向于匹配来自Y n的某些小批量。为了解决这一限制，我们通过考虑小批量之间的最优耦合来增强第二步。通过这样做，我们可以定义一个新的小批量方案，它能够在样本之间构建一个良好的全局映射，也会导致有意义的客观损失。设从中替代采样的小批量样本和从。

给定在时刻t的M步轨迹, M≤t, xt∈Xt，则从到的最优轨迹为单步轨迹，通过最小化以下运输成本获得:根据Brenier定理，OT映射g *(·)是满足monge - ampsamre方程的凸Brenier势uh的梯度。文献[14]的第2章中证明了monge - ampre方程解的存在性和唯一性，他使用Alexandrov的方法并宣称:i). Dirac分布序列{νn}弱收敛于数据分布ν;ii).对于每一个狄拉克测度νn，存在一个Alexandrov解(即本文中的离散Brenier势);

(Gromov-Wasserstein距离)设和是两个度量度量空间，其中(X, dX)是紧度量空间，uX是X上的Borel概率测度((Y, dY, uY)以相同的方式定义)。对于p∈[1，∞]，定义p阶Gromov-Wasserstein距离为是损失函数，Π(uX, uY)是X× Y上以uX和uY为边际的所有概率测度的集合。GW差异类似于GW距离，但它不要求dX和dY是严格的度量。因此，它在结构数据(如图表)上定义了一个灵活的伪度量和点云。特别地，给定两个图和它们的经验实体分布。

传统的多视图学习方法通常依赖于两个假设:(i)不同视图中的样本是对齐良好的，(ii)它们的表示在潜在空间中服从相同的分布。然而这两个假设在实践中限制了多视角学习的应用。在这项工作中，本文提出了一种可微分层最优传输(DHOT)方法来减轻多视图学习对这两个假设的依赖。给定任意两个视图的未对齐多视图数据，DHOT方法计算其潜在分布之间的切片Wasserstein距离。基于这些切片的Wasserstein距离，DHOT方法进一步计算不同视图之间的熵最优传输，并明确表示视图的聚类结构。

本文提出了一种新的两步方法来解决从一个分布到另一个分布学习最优映射的基本问题。首先，学习一个最优运输（OT）计划，它可以被认为是两个分布之间的一对多映射。为此，本文提出了一种正则化OT的随机对偶方法，并从经验上表明，当样本量很大时，效果比相关其它方法更好。其次，将Monge映射估计为通过近似先前获得的OT计划的重心投影而学习的深度神经网络。此参数化允许在输入度量的支持之外对映射进行泛化。本文证明了正则化OT的两个理论稳定性结果，表明本文的估计收敛于基础连续测度之间的OT规划和Monge映射。

大多数最优传输方法的共同点是它们能够通过依赖反映输入空间度量的成本函数来捕获数据的底层几何结构。然而，这些最优传输方法可以受益于不依赖于这些基本的几何信息，因为还有其他重要的结构信息没有直接从地面度量中获取，例如，由源中的类标签引起的局部一致性结构。一些方法在域自适应中的应用仅考虑了标记源域中的可用结构，通过按类标签对样本进行划分，而每个目标样本形成自己的聚类。然而，将这些目标结构直接纳入最优传输公式可以显著改善领域自适应算法的性能。

领域转移以多种形式存在，例如从数据集到数据集，从模拟到真实世界，从RGB图像到深度、以及从CAD模型到真实图像。领域转移现象激发了领域自适应(DA)的研究，其目的是从标记的源领域学习一个模型，该模型可以很好地推广到不同但相关的目标领域。现有的数据分析方法主要集中在单源场景。在深度学习时代，最近的单源数据分析(SDA)方法通常采用两种方法表示源域和目标域的模型的连接架构。一种方法是利用相应的任务损失(如交叉熵损失)来学习基于标记源数据的任务模型。另一种方法是通过对齐目标域和源域来处理域转移。

对于混合分布，建立的距离度量，如Wasserstein距离，没有考虑不平衡的混合比例。因此，即使两个混合分布具有相同的混合成分，但混合比例不同，它们之间的Wasserstein距离也会很大。这通常会导致基于远程的混合分布学习方法产生不期望的结果。在本文中，通过引入归一化Wasserstein度量来解决这个问题。关键思想是引入混合比例作为优化变量，有效地规范化Wasserstein公式中的混合比例。与普通的Wasserstein距离相比，使用所提出的归一化Wasserstein度量可以显著提高混合比例不平

无监督域适应大部分工作都集中在建立源域和目标域的特征分布之间的直接对齐。这种对齐涉及最小化模型学习到的特征分布的一些距离度量。更复杂的方法使用对抗性训练，通过在特征级、像素级或输出级跨域调整表示，从而提高分布之间对齐的质量。在MCD中提出了一种基于网络内对抗学习的方法，该方法包含一个特征生成器和两个(特定任务)分类器，该方法使用特定任务的决策边界来对齐源样本和目标样本。然而存在一些局限性。例如，它们的差异损失(MCD中为L1)只有在分类器的两个输出概率度量重叠时才有用。

领域自适应方法大多数都集中在单源设置上没有考虑更实际的场景，即存在多个具有不同分布的标记源域。为了学习域不变特征，忽视了提取特征的判别性没有考虑源与目标域之间的差异，不同源域对目标域的贡献不同，如图1所示。对于同一源域内的样本照单全收，而不是考虑不同样本与目标域样本之间的相似度来提取数据当域分类器性能很好时，基于对抗学习的方法会存在梯度消失的问题图1:MDDA的说明，它探索了不同源和目标之间的关系，采用判别器D以对抗方式测量每个源和目标之间的相似性ω。选择离目标较近的样本提取源分类器。

最近的多域自适应方法包括学习从每个域到公共特征空间的映射，其中目标域和源域的观测值具有相似的分布。在测试时，首先将目标域观测映射到该共享特征空间中，然后进行分类。很少有方法考虑到不同域之间的关系，然而这确实至关重要的。首先，尽管不同领域中的数据共享标签，但它们的原因和症状可能不同。患有相同病症的患者可能由各种原因引起，并且在诊断时只共享一小部分症状。提取患者之间的这些关系在实践中是有帮助的，因为它将模型限制为只有相关信息。第二，如上所述，训练语料库可以在较大的群体中仅使用少量来源构建。

由于简单地在所有源数据上训练分类器并在目标数据上执行预测可能无法获得令人满意的性能，因为该方法忽略了每个源域对目标域的不同贡献量。因此考虑对不同源数据样本进行加权并施加注意机制。本文提出了一种新的方法——域注意力条件Wasserstein距离(DCWD)，通过学习转移的权重来评估源域和目标域之间的相关性。对于每个源域和目标域，设计了一个考虑标签信息的条件Wasserstein距离目标函数来度量每个源域和目标域之间的距离。

本文采用源分布的多样性来寻找与目标分布距离最小的源联合分布的凸组合，在推导出涉及该距离的目标的新泛化界后，提出优化Wasserstein距离，该距离定义在特征/标签积空间上，在目标域和标记源的加权和之间。本文的方法的一个独特之处在于权重是与分类函数同时学习的，这允许基于源与目标的相似性来分配质量，无论是在特征中还是在输出空间中。本文的方法估计了提供域相关性和可解释性度量的权重，并将提出的方法称为加权联合分布最优传输(WJDOT)。本文相关符号：S为源域的个数，其中特征和标签都是可用的。

本文提出了一种基于最优传输(OT)的目标偏移校正算法。最初，OT解决了一个问题，即以一种最小化在它们之间移动单位质量的成本的方式对齐两个概率度量，同时保留原始的边际。最近出现的有效的OT公式允许其在数据处理中的应用，因为OT允许明确地学习将给定源pdf转换为目标样本的pdf。提出新的目标移位特定算法的动机源于这样一个事实，即许多流行的用于处理协变量移位的数据挖掘算法不能同样好地处理目标移位。

然后将注意力矩阵S归一化为单位长度，即矩阵S的每一行元素和为1，例如，通过softmax，其中bt是目标域的小批量大小。Kantorovich通过将Monge问题转化为耦合（X，Z）～π的最小化，而不是映射集，从而放松了Monge问题，其中π的边缘应等于µ和v。这种方法扩展了对偶变量的适用性，使得最优传输计划学习过程可以摆脱当前特征空间的约束，在更灵活的空间中进行。由于潜在变量重新参数化网络g的更新是整个模型优化之外的一个独立循环，因此相应的参数表示为W g，其他部分的参数则表示为W。

受Wasserstein GAN的启发，本文提出了一种学习领域不变特征表示的新方法，即 Wasserstein Distance Guided Reprensentation Learning（WDGRL）。WDGRL利用由Domain Critic表示的神经网络来估计源样本和目标样本之间的经验Wasserstein距离，并优化特征提取器网络以对抗性方式最小化估计的Wasserstein距。通过迭代对抗性训练，最终学习了对域之间的协变量移动不变的特征表示。

在这项工作中，我们探索了一种名为DeepJDOT的解决方案来解决域转移问题：通过测量基于最优传输的联合深度表示/标签的差异，我们不仅学习源域和目标域之间对齐的新数据表示，而且同时保留分类器使用的判别信息。在JDOT中，作者提出在源中的类正则性约束下，使用离散最优传输来匹配两个域的偏移边缘分布。联合分布但是，该方法有两个缺点：1）JDOT方法规模很小，因为它必须解决n1×n2的耦合问题，其中n1和n2是要对齐的样本；

WGAN前作分析了Ian Goodfellow提出的原始GAN两种形式各自的问题，第一种形式等价在最优判别器下等价于最小化生成分布与真实分布之间的JS散度，由于随机生成分布很难与真实分布有不可忽略的重叠以及JS散度的突变特性，使得生成器面临梯度消失的问题；第二种形式在最优判别器下等价于既要最小化生成分布与真实分布直接的KL散度，又要最大化其JS散度，相互矛盾，导致梯度不稳定，而且KL散度的不对称性使得生成器宁可丧失多样性也不愿丧失准确性，导致collapse mode现象。

首个使用最优传输来解决领域自适应问题，通过在源域和目标域的概率分布函数之间搜索最佳运输计划，可以估计学习样本的非线性和可逆变换。任何标准的机器学习方法都可以应用于转换集，这使得我们的方法非常通用。我们提出了一种新的优化传输算法，该算法在优化中引入了标签信息：这是通过将有效的矩阵缩放技术与非凸正则化项的优化相结合来实现的。本文为源域中的每个样本定义了一个本地运输计划，从这个意义上说，域自适应问题可以被视为要传输的所有样本的图匹配问题，其中通过将源样本映射到与目标域的边缘分布匹配的坐标来找到它们的最终坐标。

我们在本文中提出了用于域自适应的联合分布最优传输。JDOT假设存在将源域联合分布转换为目标域等效版本的转移映射。通过这种变换，可以操作特征空间和条件分布的对齐，从而能够设计出一种有效的算法，该算法同时优化和之间的耦合，以及解决传递问题的预测函数。还展示了我们方法的多功能性，可以适应几种类型的损失函数（mse、铰链）或一类假设（包括核机器或神经网络）。

在本文中，描述了一种基于最优传输的新框架来解决无监督领域自适应问题。我们提出了两种正则化方案来在运输计划的估计过程中对源域中的类结构进行编码，从而强化了同一类的样本必须经历类似变换。并将这种OT正则化框架扩展到半监督域自适应情况，即目标域中几乎没有标签可用的情况。关于计算方面，建议使用条件梯度算法的修改版本，即广义条件梯度分裂，这使该方法能够扩展到真实世界的数据集。最后，我们将所提出的方法应用于合成数据集和现实世界数据集。结果表明，最优运输领域自适应方案往往优于竞争的最先进的方法。