ssshyeong的博客

我们提出了一种新的无配对图像间翻译方法，该方法使用去噪扩散概率模型而不需要对抗训练。我们的方法，UNpaired Image Translation with Denoising Diffusion Probabilistic Models(UNIT-DDPM)，训练一个生成模型，通过最小化另一个域条件下的去噪分数匹配目标，推断图像在两个域上的联合分布作为马尔可夫链。

主要简单介绍了风格迁移发展的经典方法。，包括Gram矩阵、WCT、WCT2

我们的方法由构造步(C-step)和加速步(P-step)组成，前者用于构建逼真的风格化网络。在c步中，我们提出了一个基于精心设计的预分析的密集自编码器PhotoNet。PhotoNet集成了特征聚合模块(BFA)和实例归一化跳过链路(INSL)。为了生成真实的风格化图像，我们在解码器和INSLs中引入了多种样式传输模块。PhotoNet在效率和有效性方面都明显优于现有算法。在p步中，我们采用神经结构搜索方法来加速PhotoNet。在师生学习模式下提出了一种自动网络修剪框架，实现了逼真的风格化。

我们提出了一种学习在没有成对例子的情况下将图像从源域X转换为目标域Y的方法。我们的目标是学习一种映射G: X→Y，使G(X)的图像分布与使用对抗性损失的分布Y难以区分。我们将它与一个逆映射F: Y→X耦合，并引入一个循环一致性损失来强制F (G(X))≈X(反之亦然)。在不存在配对训练数据的几个任务上给出了定性结果.

提出了一个基于范例的图像翻译的通用框架，该框架从给定范例图像的不同域（例如，语义分割掩码、边缘映射或姿势关键点）中的输入合成照片真实感图像。解决了图像平移弱监督联合学习的密集跨域对应问题。 通过跨域对应，我们提出了一个基于范例的图像平移的通用解决方案，该方案首次在实例级输出与范例的精细结构相似的图像

在本文中，我们提出了风格分离和合成生成对抗网络（S3-GAN），以同时实现特定类别的对象照片的风格分离和风格合成。基于目标照片位于流形上，且内容和样式独立的假设，我们使用S3-GAN在流形和潜在向量空间之间建立映射，以分离和合成内容和样式。S3-GAN由编码器网络、生成器网络和对抗网络组成。

在本文中，我们学习了一个可分解的生成模型，该模型明确地将内在的身体配置(内容)分解为时间的函数，而将执行动作的人的外表(风格)分解为定常参数。本文提出的框架是基于对非线性函数空间中的样式参数进行分解，这些非线性函数映射于学习的多元内容流形的统一非线性嵌入与视觉输入空间之间。

DRANet将图像表示分离，并在潜在空间中传输视觉属性，以实现无监督的跨域自适应。与现有的学习共享一个域的相关特征的域自适应方法不同，DRANet保留了每个域特征的独特性。我们的模型对源图像和目标图像的内容（场景结构）和风格（艺术外观）的单独表示进行编码。然后，它通过将转换的样式因子和为每个域指定的可学习权重合并到内容因子中来调整域。该学习框架允许使用单个编码器网络进行双向/多向域自适应，并调整其域转移。内容自适应域传输模块，该模块有助于在传输样式的同时保留场景结构。

CoCosNet v2:提出了跨域图像的全分辨率对应学习，这有助于图像翻译。我们采用分层策略，利用粗层次的对应关系来指导精细层次。当与图像翻译联合训练时，可以以无监督的方式建立全分辨率语义对应，这反过来有助于基于范例的图像翻译。对不同翻译任务的实验表明，CoCosNet v2在生成高分辨率图像方面的性能远远优于最新文献。

一个通用的图像到图像的转换框架pixel2style2pixel (pSp)。我们的pSp框架是基于一种新的编码器网络，它直接生成一系列的风格向量，这些向量被送入一个预先训练的StyleGAN生成器，形成扩展的W+潜在空间。利用我们的编码器直接解决图像到图像的翻译任务，将其定义为从某个输入域到潜在域的编码问题。通过偏离以前StyleGAN编码器使用的标准“先反转，后编辑”方法，我们的方法可以处理各种任务，即使输入图像没有在StyleGAN域中表示。

提出了一个新的解纠缠和翻译框架，以解决复杂的对象图像到图像的翻译任务。我们不直接学习图像空间上的映射，而是将图像空间分解为外观空间和几何潜在空间的笛卡尔积。具体地说，我们首先引入几何先验损失和条件VAE损失来鼓励网络学习独立但互补的表示。然后，翻译分别建立在外观和几何空间上。......

这项工作检查了是否用视觉Transformer(ViT)CycleGAN和使用先进的生成对抗网络(GAN)训练技术可以获得更好的性能。得出的UNet ViT周期一致GAN (UVCGAN)模型与之前在开放基准图像到图像翻译数据集、selfie2动漫和CelebA上表现最好的模型进行了比较。UVCGAN性能更好，并保留了原始图像和平移图像之间的强相关性。一项伴随消融研究表明，梯度惩罚和bert样的预训练也有助于改善。.........

在本文中，我们提出了一种有效的基于Transformer的非成对图像到图像翻译体系结构（ITTR）。它主要有两种设计：1）混合感知块（HPB），用于从不同感受域混合标记，以利用全局语义；2） 双剪枝自我注意（DPSA）可大幅降低计算复杂度。在六个基准数据集上，我们的ITTR在未配对图像到图像的翻译方面优于最新水平。.........

提出了一种具有自我注意网络的无监督图像到图像的转换，其中长距离依赖不仅有助于捕获强烈的几何变化，而且还可以使用所有特征位置的线索生成细节。

研究了条件对抗网络作为图像到图像翻译问题的通用解决方案。这些网络不仅学习从输入图像到输出图像的映射，还学习一个损失函数来训练这种映射。这使得有可能对传统上需要非常不同的损失公式的问题采用相同的通用方法。......

提出了循环一致对抗域适应算法(CyCADA)，该算法在像素级和特征级对表示进行适应，同时通过像素循环一致性和语义损失实现局部和全局结构一致性。CyCADA整合了之前的特征级别和图像级别对抗域自适应方法和循环一致的图像到图像翻译技术.