Multimodal——Paper简读笔记：Multimodal Image-to-Image Translation via a Single Generative Adversarial Net

最新推荐文章于 2024-05-17 15:52:14 发布
最新推荐文章于 2024-05-17 15:52:14 发布
阅读量588 收藏 1
点赞数
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hust_zhengT/article/details/107954946
版权

Multimodal Image-to-Image Translation via a Single Generative Adversarial Network

Shihua Huang, Cheng He, Ran Cheng

文章简介

三位作者均来自南方科技大学计算机系，这篇文章从哪里来的？我真不记得了，也就几天前的事吧，因为订阅了很多谷歌学者以及公众号，每天推送很多文章，实在想不起来在什么地方看到的这篇。谷歌了一下，目前也只是在arXiv上传了，估计是投了什么会议，还没有出结果吧。而且，我突然间发现，这篇文章居然就是旁边程然老师（南方科技大学计算机系教授）实验室的文章，哈哈哈，太巧了。

应用场景：Image-to-Image(I2I)

这个应用场景我是第一次接触，整个任务的目标是用某一类图片生成另一类或者另外几类图片，源域和目标域是不同的。比如根据一匹普通的马的图片，生成斑马的图片，或者输入一只狗的图片，生成猫、老虎等其他种类的图片，也可以是用来实现图片去模糊处理。
在这里插入图片描述

算法介绍

看完整篇文章，不难发现文章本身的创新点不足，用的结构也是别人提出过的，最大的创新点在于对别人的网络结构的精简，可能这也是文章目前还没有被会议接收的原因。
![在这里插入图片描述](https://img-blog.csdnimg.cn/2020081212554035.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1c3RfemhlbmdU,size_16,color_FFFFFF,t_70#pic_center

网络主要分为两个部分，第一部分是图片的隐藏层特征提取，分别用两个Encoder提取出图片的content和style,content包含的是图片本身的一些信息，包括纹理、边缘、物体特征等信息，style包含的就是图片中目标的类型，和lable的性质相似。

在提取完源图片的domain-invariant特征之后，就要进入生成部分。生成是在之前提取的content的基础之上进行的，相当于content是原图片和目标图片的相同部分，这是可以直接保留作为生成部分的seed，然后计入目标图片的lable以及隐藏变量，从而生成其他类型的图片。生成部分采用的是对抗生成模型。
在这里插入图片描述

整个网络结构和之前的人做的工作最大的区别在于，作者只用了一个generator和discriminator，即生成不同域的图片也是公用同一个GAN网络，这样网络泛化性更好，网络结构也更简单。

实验结果

在这里插入图片描述

hust_zhengT
关注
Multimodal——Paper精读笔记：A Hierarchical Multimodal Attention-based Human Activity Recognition Algorithm
hust_zhengT的博客
08-11 780
HAMLET： A Hierarchical Multimodal Attention-based Human Activity Recognition Algorithm Md Mofijul Islam, Tariq Iqbal 文章简介： 两位作者均来自美国弗吉尼亚大学，系统与环境工程学院。 Email: {mi8uu,tiqbal}@virginia.edu 文章中了IEEE-IROS 2020，机器人领域四大顶会之一。 问题情景： Human activity recognition(HAR)，在
CVPR2019/图像翻译：TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation几何感知的无监督图像到图像的翻译
ssshyeong的博客
06-23 1204
提出了一个新的解纠缠和翻译框架，以解决复杂的对象图像到图像的翻译任务。我们不直接学习图像空间上的映射，而是将图像空间分解为外观空间和几何潜在空间的笛卡尔积。具体地说，我们首先引入几何先验损失和条件VAE损失来鼓励网络学习独立但互补的表示。然后，翻译分别建立在外观和几何空间上。......
论文阅读《Toward Multimodal Image-to-Image Translation》
最新发布
薛铁钢的博客
05-17 1203
将真实图像编码到隐空间中，使用编码器将真实图像进行潜在编码，再将编码后的随机噪声和输入图像进行结合生成输出。条件生成器从随机抽样的隐向量产生一个输出，当它作为输入给编码器时，编码返回与随机抽样相同的隐向量。将上述两种方法结合起来，构成双向映射的结构对于PixPixGAN而言，生成器更多地依赖于输入图像的具体内容而非随机噪声来重建输出。因此，即使添加了噪声，只要输入图像信息足够丰富，生成的输出仍然会依照输入的结构和特征进行构建。与传统的pix2pix模型不同，BicycleGAN在生成过程中引入了隐变量。
Toward Multimodal Image-to-Image Translation（BicycleGAN）图像一对多转换测试
01-28 2495
我们通过精简CycleGAN来实现，以两个域为例，原始CycleGAN需要2个Generator和2个Discriminator，我们不难发现，可以把域转换称condition，这样只需要一个Generator和Discriminator了。不妨给两个域 X = {x_i} 和 Y = {y_j} 分别编码为-1和1， 这样就实现了x -> y -> x 和 y -> x ...
Multimodal Unsupervised Image-to-Image Translation论文翻译以及解读
qq_23858785的博客
04-24 3718
Multimodal Unsupervised Image-to-Image Translation论文翻译以及解读 论文信息 论文题目：Multimodal Unsupervised Image-to-Image Translation 中文题目：多模态无监督图像转换 来源：ECCV 2018 论文地址1： https://paperswithcode.com/paper/multimodal-...
AttnGAN: Fine-Grained Text to Image Generationwith Attentional Generative Adversarial Networks 论文解读
weixin_43551972的博客
05-22 2227
attnGAN是CVPR 2018的一篇文章，我觉得写得很好，是十分值得一读的文章。文章引进了注意力（attention）机制。 Attentional Generative Adversarial Network(AttnGAN)能够生成细粒度（fine-grained）细节的的图片，与之前的text to image最好的 文章相比在CUB数据集上的inception score 提高了14....
CVPR2021-Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation风格编码:用于图像到图像转换
ssshyeong的博客
04-18 1701
一个通用的图像到图像的转换框架pixel2style2pixel (pSp)。我们的pSp框架是基于一种新的编码器网络，它直接生成一系列的风格向量，这些向量被送入一个预先训练的StyleGAN生成器，形成扩展的W+潜在空间。利用我们的编码器直接解决图像到图像的翻译任务，将其定义为从某个输入域到潜在域的编码问题。通过偏离以前StyleGAN编码器使用的标准“先反转，后编辑”方法，我们的方法可以处理各种任务，即使输入图像没有在StyleGAN域中表示。
论文Multimodal Unsupervised Image-to-Image Translation
summer2day的博客
05-16 4552
简介： 无监督图像迁移网络是计算机视觉领域的一个技术难题，即给定一张源域图像，如何在没有其他图像样本的情况下，学习相应目标域图像的条件分布。当处理多维条件分布时，现有的方法是在过度简化的假设条件下，通过绘制源域图像和确定的、一对一的目标图像来进行建模。 然而，上述方法无法用来生成给定源域图像的多种多样的目标图像。因此，本文提出了一种多维无监督图像迁移网络框架。 本文中假定代表图像可以被分解成...
AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks
EwanRenton
12-06 3470
《AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks》是CVPR 2018 文本生成图像的文章，是StackGAN++的后续工作。 Abstract 在本文中作者提出了一个 Attentional Generative Ad- versarial Net...
Unpaired Image-to-Image Translation
10-19
Image-to-image translation is a class of vision and graph- ics problems where the goal is to learn the mapping between an input image and an output image using a training set of aligned image pairs.
Multimodal——Paper精读笔记：Improving Vision-and-Language Navigation with Image-Text Pairs from the Web
hust_zhengT的博客
08-11 665
Improving Vision-and-Language Navigation with Image-Text Pairs from the Web 关键字：BERT、迁移学习、预训练 文章简介 这篇文章中了今年ECCV（2020），还是spotlight，挺牛X的了。虽然还是吃的transformer的老本（自从出现了transformer，多模态领域就像找到了突破点一样，各种使用transformer，因此也是在各大会议发了不少文章，去年和今年几乎所有的多模态文章都是基于transformer的），但
Adversarial Multimodal Network for Movie Question Answering心得体会
untitled_的博客
04-13 380
利用多模态信息进行可视化问题回答，近年来受到了越来越多的关注。然而，由于视觉内容和自然语言具有截然不同的统计特性，这是一项非常具有挑战性的任务。本文提出了一个称为对抗性多模态网络(AMN)的方法，以更好地理解视频故事的问题回答。在AMN中，受到生成式对抗网络的启发，通过为视频剪辑和相应的文本(例如，字幕和问题)寻找更一致的子空间来学习多模态特征表示。此外，引入了一个自我注意机制来加强所谓的一致性约...
（I2I） Image to image Translation with Conditional Adversarial NetWorks（cGAN)
m0_55217431的博客
06-13 469
Image-to-Image Translation with Conditional Adversarial NetWorks 　　这是加里福利亚大学在CVPR 2017上发表的一篇论文，讲的是如何用条件生成对抗网络实现图像到图像的转换任务。 　　> 原文链接：https://arxiv.org/abs/1611.07004 　　> 论文主页：https://phillipi.github.io/pix2pix/，其中包含了PyTorch、Tensorflow等主流框架的代码实现 　　 　
Text to image论文精读MISE：多模态图像合成和编辑Multimodal Image Synthesis and Editing: A Survey
白洞，白色的明天在等着我们
09-08 5371
由于信息在现实世界中以各种形式存在，多模态信息之间的有效交互和融合对于计算机视觉和深度学习研究中多模态数据的创建和感知起着关键作用。 文字到图像的生成属于多模态图像合成与编辑领域的一个典型任务。多模态图像合成和编辑在建模多模态信息之间的交互方面具有强大的能力，近年来已成为一个热门的研究课题。
[论文阅读] Multimodal Unsupervised Image-to-Image Translation
xiongxyowo的博客
08-08 873
无监督的图像对图像的翻译是计算机视觉中的一个重要且具有挑战性的问题。给定源域中的图像，目标是学习目标域中相应图像的条件分布，而无需看到任何一对相应的图像。虽然这种条件分布本质上是多模态的，但现有的方法做了一个过于简化的假设，将其建模为一个确定性的一对一映射。因此，它们不能从一个给定的源域图像中产生不同的输出。为了解决这一局限性，我们提出了一个多模态无监督的图像-图像翻译(MUNIT)框架。我们假设图像表示可以被分解为内容代码和风格代码，前者是领域不变的，后者是捕捉领域特定的属性。...
GAN在Image To Image translation 和Inverse Problem中的应用
omnispace的博客
09-02 1095
上次遗留的Generative adversarial network的应用篇。顺便说一句，矩阵分析老师是垃圾 原文地址：https://zhuanlan.zhihu.com/p/27987845
LARGE SCALE IMAGE COMPLETION VIA CO-MODULATED
稀里糊涂林老冷
06-01 929
清华和微软的工作。 解读一下题目： large scale 大尺度 image completion 图像补全 co-modulated 互协调 generative adversarial network 生成对抗网络 梳理一下：课题中提出一种 互协调 生成对抗网络，用来解决大尺度图像的补全问题。 核心思想 如何在大尺信息缺失的情况下，还能补全图像且效果不错？？？ 作者认为，如果模型具备从无来生成一个该风格的图像，那么该图像的缺失区域不论多大，应该都能很好的补全出来。 图像生成和图像补全之间.
Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning
m0_61985580的博客
10-08 1111
在这项工作中，我们使用一种新颖的风格特征表示学习方法来解决任意图像风格转移的挑战性问题。合适的风格表示作为图像风格化任务的关键组成部分，对于获得满意的结果至关重要。现有的基于深度神经网络的方法在内容特征的Gram矩阵等二阶统计量的指导下取得了合理的结果。然而，它们没有利用足够的风格信息，这会导致诸如局部失真和风格不一致之类的伪影。为解决这个问题，我们通过分析多种风格之间的异同，并考虑风格分布，提出直接从图像特征中学习风格表征，而不是从图像特征的二阶统计中学习。
CVPR 2021: 用分层VQ-VAE实现图像多样结构修复
- **generative-adversarial-networks (GANs)**: 这是一种深度学习模型，由一个生成器和一个判别器组成，它们相互对抗，以提高模型生成图像的能力。GANs在图像生成、图像修复和图像编辑等任务中非常有用。 - **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值