ssshyeong的博客

在本文中，我们证明了扩散模型也可以作为语义分割的工具，特别是在标签数据稀缺的情况下。特别是，对于几个预训练的扩散模型，我们研究了来自执行反向扩散过程的马尔可夫步骤的网络的中间激活。我们表明，这些激活有效地从输入图像中捕获语义信息，并且似乎是分割问题的优秀像素级表示。基于这些观察结果，我们描述了一种简单的分割方法，即使只提供少数训练图像，该方法也可以工作。我们的方法在多个数据集上显著优于现有的替代方法，以实现相同的人工监督量

我们考虑在一个由先验p(x)和辅助可微约束c(x,y)组成的模型中推断高维数据的问题。在本文中，先验是一个独立训练的去噪扩散生成模型。辅助约束预计具有可微形式，但可以来自不同的来源。这种推断的可能性将扩散模型转化为即插即用模型，从而允许在适应模型的领域和任务（如条件生成或图像分割）方面的一系列潜在应用。

在这个综述中，我们提供了一个关于扩散模型的快速扩展的工作的概述，将研究分为三个关键领域:有效抽样，改进的似然估计，和处理具有特殊结构的数据。我们还讨论了将扩散模型与其他生成模型相结合以增强结果的潜力。

本文基于在源域和目标域中执行的域自适应框架在图像翻译和SSL方面几乎是互补的这一观察，我们提出了一种新的双路径学习（DPL）框架来缓解视觉不一致性。事实上，DPL包含两条互补的、交互的、分别在源域和目标域对齐的单域适配管道。DPL的推理非常简单，仅在目标域中使用一个分割模型。提出了双路径图像翻译和双路径自适应分割等新技术，使两条路径以交互方式相互促进。

我们提出了一种新的无配对图像间翻译方法，该方法使用去噪扩散概率模型而不需要对抗训练。我们的方法，UNpaired Image Translation with Denoising Diffusion Probabilistic Models(UNIT-DDPM)，训练一个生成模型，通过最小化另一个域条件下的去噪分数匹配目标，推断图像在两个域上的联合分布作为马尔可夫链。

在这个综述中，我们提供了在视觉中应用去噪扩散模型的文章的综合综述，包括在该领域的理论和实践贡献。首先，我们确定并提出了三种通用的扩散建模框架，它们基于去噪扩散概率模型、噪声条件评分网络和随机微分方程。我们进一步讨论了扩散模型和其他深层生成模型之间的关系，包括变分自编码器、生成对抗网络、基于能量的模型、自回归模型和归一化流。然后，介绍了计算机视觉中扩散模型的多视角分类。最后，我们说明了目前扩散模型的局限性，并展望了未来研究的一些有趣的方向

我们在深度神经网络中提出了一种新的基于领域特定批归一化的无监督领域自适应框架。我们的目标是通过在卷积-卷积神经网络中专门化批归一化层，同时允许它们共享所有其他模型参数，从而适应这两种领域，这是通过两阶段算法实现的。在第一阶段，我们使用外部无监督域自适应算法(例如ample, MSTN[27]或CPUA[14])来估计目标域中示例的伪标签，该算法集成了提出的特定于域的批处理归一化。第二阶段使用源和目标域的多任务分类损失学习最终模型。注意，两个域在两个阶段都有单独的批处理规范化层。

在本文中，我们提出了自我注意生成对抗网络(Self-Attention Generative Adversarial Network, SAGAN)，该网络允许对图像生成任务进行注意力驱动的长期依赖建模。在SAGAN中，可以使用所有特征位置的线索来生成细节。此外，该鉴别器还可以检查图像远处部分的高细节特征是否一致。我们将光谱归一化应用于GAN生成器，并发现这改善了训练动力学。提出的SAGAN比之前的工作表现更好.........

研究了条件对抗网络作为图像到图像翻译问题的通用解决方案。这些网络不仅学习从输入图像到输出图像的映射，还学习一个损失函数来训练这种映射。这使得有可能对传统上需要非常不同的损失公式的问题采用相同的通用方法。......

提出了一种深度生成先验（DGP）方法，能够在保持生成先验的同时很好地重建，当在任务相关的观测空间中重构被破坏的图像时，DGP倾向于恢复缺失的信息，同时保持已有的语义信息不变。

提出了一种基于生成对抗网络(GANs)的方法，首先将DCNN获得的中间特征表示投影到图像空间，通过使用L1和对抗性损失的组合训练重建模块。然后，我们通过强制网络学习特征来施加域对齐约束，使源特征在传递给重构模块时产生类似目标的图像，反之亦然。

本文研究了语义分割中的无监督域自适应问题,建议利用这种跨领域的不变性，利用结构化语义分割输出中成对像素之间的并发模式。我们对相邻像素之间的关联关系(称为源域和目标域的关联空间)进行域适应。为此，我们制定了两种关联空间适应策略:关联空间清洁策略和对抗性关联空间对齐策略。大量的实验表明，所提出的方法在跨域语义分割的几个具有挑战性的基准上比一些最先进的方法具有更好的性能。...

本文提出了一种基于分离语义特征的领域适应网络SSF-DAN，用于语义分割。首先，设计了一个语义可分离鉴别器(SS-D)来独立适应跨目标域和源域的语义特征，解决了类级对抗学习中适应不一致的问题。在SS-D中，为了实现更可靠的分离，引入了渐进置信策略。然后，引入一个有效的类级别上的对抗损失重加权模块(CA-R)来平衡类级别上的对抗学习过程，使生成器更多地关注适应性差的类。该框架展示了健壮的性能，优于基准数据集上的最先进的方法。

提出了一种新的无监督领域自适应语义分割方法。为了从源域获取知识，我们首先学习一组基来描述源域的特征分布，然后将源域和目标域的特征重新表示为源基的加权和。此外，还引入了一个鉴别器，使得两个域特征在相同基下的重表示责任无法区分。然后，我们将特征重表示与原始的特定领域特征相结合，进行后续的像素级分类。为了进一步使重新表示的目标特征具有语义意义，提出了一种可靠的伪标签再训练（RPLR）策略，该策略利用多视点源图像训练网络的预测一致性，在未标记的目标图像上选择干净的伪标签进行重新训练。

为了处理大面积的缺失区域、复杂的几何结构和高分辨率图像，提出了一种大掩模修复（LaMa）。LaMa基于i）一种新的修复网络架构，该架构使用快速傅立叶卷积（FFC），具有图像范围的感受野；ii）高感受野知觉丧失；iii）大型训练掩模，释放前两个组件的潜力。我们的修复网络提高了一系列数据集的最新水平，即使在具有挑战性的场景中（例如完成周期性结构），也能实现优异的性能。

在本文中，我们学习了一个可分解的生成模型，该模型明确地将内在的身体配置(内容)分解为时间的函数，而将执行动作的人的外表(风格)分解为定常参数。本文提出的框架是基于对非线性函数空间中的样式参数进行分解，这些非线性函数映射于学习的多元内容流形的统一非线性嵌入与视觉输入空间之间。

数据的归一化操作是数据处理的一项基础性工作，本文主要介绍了现有的四种归一化方法，包括Batch Normalization、Layer Normalization、Group Normalization、InstanceNorm以及近期在图像翻译领域遇到的Spatially-Adaptive Normalization

RNN 是包含循环的网络，允许信息的持久化。LSTM是一种 RNN 特殊的类型，可以学习长期依赖信息。GRU 基于这样的想法在保留长期序列信息下减少梯度消失问题。本文主要整合相关内容，对这几个机制进行简单介绍。

在本文中，我们提出了一种新的双向学习框架，用于领域自适应分割。通过双向学习，图像翻译模型和分割适应模型可以交替学习并相互促进。此外，我们还提出了一种自监督学习算法来学习更好的分割适应模型，从而改进图像翻译模型。

计算机视觉相关-期刊会议信息整合1.期刊1.1.A类1.2.B类2.会议2.1.IEEE会议排名2.1.1.Rank 1:2.1.2.Rank 2:2.1.3.Rank 3:2.1.4.Un-ranked2.1.5.IEEE通信领域的主要会议介绍：2.2.A类2.3.B类1.期刊1.1.A类TPAMI: IEEE Trans on Pattern Analysis and Machine IntelligenceIJCV: International Journal of Computer Vis

将非本地操作(Non-local Operation)作为一种高效、简单和通用的组件，用于使用深度神经网络捕获远程依赖关系。

本综述旨在提供计算机视觉学科中transformer模型的全面概述。

@TOC[图解Transformer]1.关于TransformerTransformer 是在论文Attention is All You Need 中提出的。在这篇文章中，我们将介绍The Transformer——一种使用注意力来提高这些模型训练速度的模型。Transformers 在特定任务中的表现优于 Google 神经机器翻译模型。然而，最大的好处来自 The Transformer 如何将其自身用于并行化。因此，让我们尝试分解模型并看看它是如何运作的。2.宏观视角分析让我们首先将模型视

分类任务损失函数1.交叉熵损失Cross Entropy Loss1.1.交叉熵损失表达式1.2.交叉熵损失函数的直观理解1.3.优缺点2.Focal Loss2.1.Focal Loss基本表达式2.2.Focal Loss深层理解3.Dice Loss3.1.Dice Loss定义3.2.Dice Loss计算3.2.Dice Loss深度解读3.2.1.Dice Loss与F1 score3.2.2.dice loss为何能够解决正负样本不平衡问题?3.2.3.dice loss 为何训练会很不稳定?

标准化、归一化以及数据处理1.标准化和归一化1.1.什么是数据归一化1.2.归一化和标准化的区别1.3.为什么要进行数据的归一化2.数据预处理中的归一化2.1.训练集、测试集和验证集如何进行归一化2.2.常用的归一化手段Zero-mean normalization均值方差归一化Min-max normalizationNon-linear normaliztionsLength-one normalization1.标准化和归一化1.1.什么是数据归一化归一化（标准化）可以定义为：归一化就是要把你需