深度学习【47】Unsupervised Image-to-Image Translation with Generative Adversarial Networks

最新推荐文章于 2025-11-17 15:30:42 发布
原创 最新推荐文章于 2025-11-17 15:30:42 发布 · 4.1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了如何使用生成对抗网络（GAN）进行无监督图像到图像的转换，特别是在没有成对训练数据的情况下。通过训练一个GAN和后续的Encoder网络，可以利用图片标签信息实现类别转换，如性别转换。训练过程包括GAN的训练、Encoder网络的训练，最终实现图像的转换。实验结果显示了成功的性别转换应用。

我们之前介绍了pix2pix和pix2pixHD都是属于有监督的图片到图片的转换，也就是其训练数据集要求每一张待转换图片必须有一张目标转换图像相对应。

今天我们来看看如何利用GAN做无监督的图像到图像的转换。既然是无监督的图像到图像转换，那么在训练数据集中肯定是没有成对的数据了。比如性别的转换，假设我有张奥巴马的图片，那么肯定不能找到一张女的奥巴马图片吧吧。所以这就叫无监督。还是以性别转换为例，我们还是有可用信息的，那就是图片的标签信息。这篇论文就是利用图片的标签信息，来达到某一类别的图片转成另一类别的图片的目的。

我们直接看看论文给的模型图:
这里写图片描述

训练过程分两步，先训练一个GAN网络；然后固定G网络，训练一个Encoder网络。接着就可以用训练好的Encoder网络和G网络进行转换了。

训练GAN

该GAN的目标函数为：
这里写图片描述
其中s表示图片为真实图片的分数，c表示类别， Xreal

最低0.47元/天 解锁文章
【论文精读】Unsupervised Deep Image Stitching: Reconstructing Stitched Features to Images（无监督的深度图像拼接）
qq_46111316的博客
10-16 7126
论文下载链接 文章目录前言摘要一、介绍二、相关工作2.1 基于特征的图像拼接2.2 基于学习的图像拼接2.3深度单应方法==》研究动机三、无监督图像拼接Ⅰ、无监督图像对齐Ⅱ、无监督图像重建四、实验Ⅰ、数据集Ⅱ、实验细节五、总结和未来工作Ⅰ、总结Ⅱ、局限和未来工作 前言 图像拼接(Image Stitching)可以说是计算机视觉领域中一个非常经典且完备的体系，由于其包含如特征点检测、映射估计、匹配对齐、投影变换和图像融合等重要算法（其中每一个小点都可单独拿出来研究）。自2007年Matthew Brown在
【论文笔记】无监督图像拼接
prask的博客
05-19 2679
传统的基于特征的图像拼接技术严重依赖于特征检测质量，往往无法拼接特征少或分辨率低的图像。由于缺乏标记数据，基于学习的图像拼接解决方案很少被研究，使得监督方法不可靠。无监督粗图像对齐和无监督图像重建。在第一阶段，我们设计了一个基于消融的损失来约束一个更适合大型基线场景的无监督单应性网络。此外，在拼接域空间中引入一个空间变换层对输入图像进行翘曲处理。在第二阶段，基于像素级的图像错位可以在特征级上得到一定程度的消除，我们设计了一个无监督图像重建网络来消除从特征到像素的伪影。
UNIT：UNsupervised Image-to-image Translation Networks
最新发布
gitblog_00544的博客
11-17 497
在机器学习和计算机视觉领域，图像到图像的转换技术一直是一个热门话题。它不仅涉及到图像处理和生成模型的核心技术，也具有广泛的应用前景。今天，我们要介绍的UNIT项目，全称为UNsupervised Image-to-image Translation Networks，是一种无需成对训练样本即可实现图像转换的深度学习框架。 ## 项目技术分析 ### 核心原理 UNIT项目基于生成对抗网络（G
阅读笔记（TIP 2021）Unsupervised Deep Image Stitching: Reconstructing Stitched Features to Images
小秋在路上~
02-01 866
传统的基于特征的图像拼接技术严重依赖于特征检测质量，往往无法拼接特征较少或分辨率较低的图像。基于学习的图像拼接方法由于缺乏标记数据而很少被研究，使得监督方法不可靠。针对上述问题，提出了一种无监督的深度图像拼接框架，该框架由两个阶段组成：无监督的图像粗对齐和无监督的图像重建。在第一阶段，我们设计了一个基于消融（ablation-based）的损失来约束一个无监督单应性网络，它更适合于大基线场景。此外，还引入了一个Transformer层，用于在拼接域空间中变形输入图像。
【Unsupervised Image-to-Image Translation with Generative Prior 生成性先验引导的无监督的图像转换 (GPUNIT) 】 阅读笔记
滢滢码仔
05-06 4080
尽管图像转换有了发展，但要实现巨大的视觉差异还是较为困难。本文提出一个新框架，可以用先验引导的无监督的图像转换。Generative Prior guided UNsupervised Image-to-image Translation (GPUNIT)。实现提升图像转换算法的质量与适用性。 ...
论文笔记（1）：CVPR2019-Latent Filter Scaling for Multimodal Unsupervised Image-to-Image Translation
qq_35422491的博客
05-29 1260
论文地址：arXiv:1812.09877 原文没给代码，发了邮件给作者也石沉大海了，自己复现了一份代码，还没有调试出原文的效果，过段时间再来更新。这里先记录一下理论部分。 网络结构如图： 这篇论文的大概思想就是让latent code作为卷积核的修改器，在保持传统的对抗损失，且不添加任何额外的损失的情况下，产生了多峰的输出。除此之外，还顺带可以做到源域和目标域风格之间的disentanglem...
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
u013049912的博客
10-25 1381
图像到图像转换是一类视觉和图形问题，其目标是使用对齐图像对的训练集来学习输入图像和输出图像之间的映射。然而，对于许多任务，配对训练数据将不可用。我们提出了一种在没有配对示例的情况下学习将图像从源域 X 转换到目标域 Y 的方法。我们的目标是学习映射 G : X → Y，使得使用对抗性损失时 G(X) 中的图像分布与分布 Y 无法区分。由于这种映射高度受限，我们将其与逆映射 F : Y → X 结合起来，并引入循环一致性损失来强制 F(G(X)) ≈ X（反之亦然）。
CVPR2019/图像翻译：TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation几何感知的无监督图像到图像的翻译
ssshyeong的博客
06-23 1402
提出了一个新的解纠缠和翻译框架，以解决复杂的对象图像到图像的翻译任务。我们不直接学习图像空间上的映射，而是将图像空间分解为外观空间和几何潜在空间的笛卡尔积。具体地说，我们首先引入几何先验损失和条件VAE损失来鼓励网络学习独立但互补的表示。然后，翻译分别建立在外观和几何空间上。......
论文Multimodal Unsupervised Image-to-Image Translation
summer2day的博客
05-16 4621
简介： 无监督图像迁移网络是计算机视觉领域的一个技术难题，即给定一张源域图像，如何在没有其他图像样本的情况下，学习相应目标域图像的条件分布。当处理多维条件分布时，现有的方法是在过度简化的假设条件下，通过绘制源域图像和确定的、一对一的目标图像来进行建模。 然而，上述方法无法用来生成给定源域图像的多种多样的目标图像。因此，本文提出了一种多维无监督图像迁移网络框架。 本文中假定代表图像可以被分解成...
2019 IJCNN之GAN（image transfer（face））：Attention-Guided Generative Adversarial Networks for Unsupervis
makabaka的博客
06-27 1557
Attention-Guided Generative Adversarial Networks for Unsupervised Image-to-Image Translation 当前的问题及概述： 通过GAN网络针对image-to-image translation任务目前只能转换low-level特征，而不能转换high-level特征，主要原因是生成器无法检测出图像中最能体现语义的部分，从而导致生成的图像质量较差。 针对这一局限性，本文提出了一种基于注意力引导的生成对抗网络(AGGAN)，该网
2017 NIPS之GAN（image transfer）：Unsupervised Image-to-Image Translation Networks
makabaka的博客
06-11 939
Unsupervised Image-to-Image Translation Networks 开源：https://github.com/mingyuliutw/unit. 当前的问题及概述： 无监督图像-图像转换的目的是利用图像在单个区域的边缘分布来学习图像在不同区域的联合分布。由于存在无穷多的联合分布集合，可以得到给定的边际分布，如果没有额外的假设，就不能从边际分布中推断出联合分布。 本文提出了一个共享潜在空间的假设，并提出了一种基于coupled GANs的无监督图像-图像转换框架。 模型及los
Show, Attend and Translate: Unsupervised Image Translation with Self-Regularization and Attention 解读
EwanRenton
08-24 3905
本文提出了一种结合Attention机制和self-Regularization的无监督图像域转换模型。 问题 为了解决两个域间的图像转换问题，需要学习从一个域到另一个域的映射，将X域中的图像转换到Y域。 本文的目的是使生成的图像看起来和源图像(X域)是相似的，同时具备Y域图像的特征。 如上图所示，图像从Horse域转换到了Zebra域，但是背景部分并没有变化。 方法...
Generative Adversarial Networks: An Overview文献阅读笔记
生物医学信息学博客
08-08 4278
Generative Adversarial Networks: An Overview笔记 Abstract Generative adversarial networks (GANs) provide a way to learn deep representations without extensively annotated training data. They achieve...
CVPR2017/图像翻译：Image-to-Image Translation with Conditional Adversarial Networks基于条件对抗网络的图像到图像的翻译
ssshyeong的博客
06-18 1185
研究了条件对抗网络作为图像到图像翻译问题的通用解决方案。这些网络不仅学习从输入图像到输出图像的映射，还学习一个损失函数来训练这种映射。这使得有可能对传统上需要非常不同的损失公式的问题采用相同的通用方法。......
Image-to-Image Translation with Conditional Adversarial Networks
u013049912的博客
10-25 924
我们研究条件对抗网络作为图像到图像翻译问题的通用解决方案。这些网络不仅学习从输入图像到输出图像的映射，还学习损失函数来训练这种映射。这使得可以将相同的通用方法应用于传统上需要非常不同的损失公式的问题。我们证明，这种方法在从标签图合成照片、从边缘图重建对象以及对图像着色等任务方面非常有效。事实上，自从与本文相关的 pix2pix 软件发布以来，大量互联网用户（其中​​许多是艺术家）已经发布了他们自己对我们系统的实验，进一步证明了其广泛的适用性和易于采用，而无需进行参数调整。
Unsupervised Deep Image Stitching: ReconstructingStitched Features to Images
moonlightpeng的博客
10-16 547
深度学习
【深度图像拼接学习2】Unsupervised Deep Image Stitching: Reconstructing Stitched Features to Images文章初读
qq_62140542的博客
11-18 1038
resolution分辨率不对齐eliminate删除artifact伪影变形作者在abstract中共介绍了以下3部分：1. traditonal and supervised learning 存在的问题：前者极其依赖feature detection（特征检测），且对于低分辨或低特征场景下效果不好。后者因为labeled data的 lack 所以发展一直受限。2.介绍了网络架构以及作者在内部的创新：这是一个two-stage的网络，第一阶段主要进行一个粗对齐。
Unsupervised Deep Image Stitching: ReconstructingStitched Features to Images总结
rgw483178784的博客
11-20 439
根据扭曲后的目标图像的数据信息计算拼接转换域的size，所谓拼接转换域，即待拼接的参考图像和扭曲后的目标图像的最大外接矩形。定义的W（·）操作是对输入图像进行扭曲。与传统的最佳几何拟合的图像拼接方法有所不同，它更关注最终拼接图象的视觉效果，尤其是在接缝区域的连续性和自然过渡。然而，所有的解决方案都是有监督的方法，由于到目前为止在实际场景中还无法获得缝合的标签，因此还没有真正的深度图像拼接数据集。（11）无监督图像重建阶段：将一阶段生成的扭曲图像融合生 成完整的拼接图像，而且能消除从特征到像素级的伪影。
【深度图像拼接】Unsupervised Deep Image Stitching: Reconstructing Stitched Features to Images（UDIS）阅读笔记
weixin_47100795的博客
04-09 1852
L1损失即 求各个元素预测值和真实值差值的绝对值之和，再求平均值。计算公式为L1 Loss = (1/n) * Σ |预测值 - 真实值|。Lp感知损失通常通过将预训练模型的特征提取层嵌入到损失函数中来实现，然后通过梯度下降等优化方法来最小化这种损失，从而训练模型。具体计算方式需看文献《“Perceptual losses for real-time style transfer and super-resolution》。
DualGAN: Unsupervised Dual Learning for Image-to-Image Translation
05-29
DualGAN 是一种基于无监督学习的图像到图像转换模型，其核心思想是通过两个生成对抗网络（GAN）之间的对偶关系来实现图像域之间的映射[^1]。具体来说，DualGAN 利用了一种双向映射机制，确保源域和目标域之间的转换...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值