百度飞桨PaddlePaddle论文复现——StarGANv2论文解读

最新推荐文章于 2024-07-10 19:54:46 发布
原创 最新推荐文章于 2024-07-10 19:54:46 发布 · 1.2k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#cv #图像识别 #python #人工智能 #计算机视觉

StarGANv2是一种先进的图像转换模型，通过引入样式编码器和映射网络，实现多域间图像多样化的转换。它克服了传统方法在处理多领域图像转换时的局限性，能够生成更丰富多样的图像风格。
部署运行你感兴趣的模型镜像

百度飞桨PaddlePaddle论文复现——StarGANv2论文解读

任务描述

多领域间的多样化图像转换（image-to-image translation）

  1. 生成图像多样化
  2. 多个域上具有可拓展性
    在这里插入图片描述

相关介绍

生成对抗网络

  1. cGAN
  2. CycleGAN
  3. StarGAN
    在这里插入图片描述
    风格迁移
    AdalN:在这里插入图片描述
    人脸对齐
    Adaptive Wing Loss

作者动机

多领域

  1. 考虑到每个域中的不同风格样式的图像。设计和学习此类模型会变得很复杂，因为数据集中可能有大量style和domain
  2. 目前已有许多图像转换方法，但这些方法大豆仅考虑两个域之间的映射。如果有K个域，这些方法需要训练K(K-1)生成器来处理每个域之间的转换。
    在这里插入图片描述
    StarGan缺乏多样性
  3. StarGAN是最早的针对多领域更具拓展性、统一的框架之一，但仍然学习每个域的确定性映射，没有掌握数据分布的多样性（muti-model）本质。
  4. 该限制的原因是每个域都由余弦定义标签来表示。生成器接收固定的标签例如（一个one-hot向量）作为输入，在给定源图像下，每个域都产生相同输出。
    在这里插入图片描述

论文方法

回顾StarGAN网络结构
在这里插入图片描述
StarGAN v2网络结构
StarGAN v2使用所提出的domain-specific style code替换域标签，前者可表示特定领域的各种风噶样式。引入两个模块，一个映射网络mapping network 和一个样式编码器style encoder

在这里插入图片描述
映射网络学习将随机高斯噪声转换为样式码（style code），而编码器则学习从给定的参考图像中提取样式码。两个模块都具有多个输出分支，每个分支都提供特定域样式码，训练时将选取其中对应domain的一个。

生成器Generator：将输入图像x转换成G（x，s），s为样式码style code，可以由映射网络F或者样式编码器E提供。使用adaptive instance normalization （AdalN）引入s。
在这里插入图片描述
生成器Generator：删除了上采样residual blocks中的所有shortcut，并使用adaptive wing based heatmap 添加了跳跃连接。
在这里插入图片描述
映射网络Mapping network：网络包括Kge输出分支，表示有K个域，给定隐变量z和对应的域y，生成样式码S=Fy（z）

在这里插入图片描述
样式编码器Style encoder：网络包括K个输出分支，表示有K个域，给定图像x及对应域y，编码器E提取x的样式码S=Fy（z）。D代表样式码S的维度。

在这里插入图片描述
鉴别器Discriminator：网络包括k个输出分支，表示有k个域，每个分支都学习一个二元分类，却定图像x是域y的真实图像还是G生成的伪图像，因此输出维度D设定为1，作为real、fake的分类。

在这里插入图片描述
StarGan v2训练目标

对抗目标 adversarial loss

在这里插入图片描述

风格重构

在这里插入图片描述
风格多样性

保留源图特性

在这里插入图片描述
总体目标

结果展示

AFHQ
发布了一个新的动物面孔数据集Animal FacesHQ(AFHQ)
其中包括512*512分辨率的15000张高质量图像。数据集包括猫，够和野生动物的三个域，每个域提供5000张图像。

在这里插入图片描述
量化评价

FID衡量真实图像和生成图像之间的差异性
在这里插入图片描述

LPIPS衡量生成图像的多样性

在这里插入图片描述
在这里插入图片描述
人类评价
在这里插入图片描述

结果展示

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
代码解读
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

任务总结

StarGAN v2 多领域间的多样化图像转换网络

  • 包含四个模块：生成器、映射网络、样式编辑器、判别器
  • 代码结构清晰，学会阅读代码中的注释

您可能感兴趣的与本文相关的镜像

PaddlePaddle-v3.3

PaddlePaddle-v3.3

PaddlePaddle

PaddlePaddle是由百度自主研发的深度学习平台，自 2016 年开源以来已广泛应用于工业界。作为一个全面的深度学习生态系统，它提供了核心框架、模型库、开发工具包等完整解决方案。目前已服务超过 2185 万开发者，67 万企业，产生了 110 万个模型

Countonme95
关注
【飞桨】【论文复现】StarGAN v2学习笔记
ers1245的博客
08-06 4139
【飞桨】【论文复现】StarGAN v2学习笔记 StarGAN v2 github：https://github.com/clovaai/stargan-v2 Paper: https://arxiv.org/abs/1912.01865 前置论文 复现营课程链接：https://aistudio.baidu.com/aistudio/education/group/info/1340 1.cgan（Conditional Generative Adversarial Nets） 2.cyclegan（U
stargan v2 代码学习记录
九袋面的博客
02-26 1981
（1） lamda python lambda函数也叫匿名函数，即，函数没有具体的名称。 lambda和普通的函数相比，就是省去了函数名称而已，同时这样的匿名函数，又不能共享在别的地方调用。 其实说的没错，lambda在Python这种动态的语言中确实没有起到什么惊天动地的作用，因为有很多别的方法能够代替lambda。 1. 使用Python写一些执行脚本时，使用lambda可以省去定义函数的过程，让代码更加精简。 2. 对于一些抽象的，不会别的地方再复用的函数，有时候给函数起个名字也是个难题，使
StarGAN代码解析
yunyi4367的博客
06-20 7147
pytorch原版github地址：https://github.com/yunjey/StarGAN tensorflow版github地址：https://github.com/taki0112/StarGAN-Tensorflow 两个版本实现相差不大，以pytorch版来介绍。 以celebA数据为例,下载后的数据包括label文件,和图像. 文件的第一行为图像的总数,为20259...
论文学习 StarGANv2 ——StarGAN v2: Diverse Image Synthesis for Multiple Domains
最新发布
qq_53536373的博客
07-10 1419
最后但并非最不重要的一点是，我们提出了一个新的动物人脸数据集（AFHQ），具有高质量和广泛变化（附录 A），以更好地评估图像到图像转换模型在大的域间和域内差异上的性能。给定一个潜在代码 z 和一个域 y，我们的映射网络 F 生成一个样式代码 = Fy (z)，其中 Fy (·) 表示对应于域 y 的 F 的输出。我们的生成器 G 将输入图像 x 转换为输出图像 G(x, s)，反映特定领域的样式代码 s，由映射网络 F 或样式编码器 E 提供。这里，Ey (·) 表示对应于域 y 的 E 的输出。
starGAN v2 论文阅读
白雪少年
06-19 5280
StarGAN v2 文章目录StarGAN v2摘要一.介绍二.StarGANv21.网络结构2.loss设置三.实验结果展示四.总结Reference 摘要 优秀的图像-图像转换模型需要学习不同视觉域之间的映射，要同时满足以下属性：1）生成图像的多样性和 2）在多个域上的可扩展性。 因此提出了star-GAN v2和动物数据集AFHQ 一.介绍 域：可以分组为视觉上独特的类别的不同组图片 风格：每组图片中的每张图片都有独特的外观，这称之为风格。 比如，可以根据性别将人分为男性和女性两个域，而人物的装扮，
百度飞桨PaddlePaddle论文复现训练营——U-GAT-IT 论文复现心得
AItrust的博客
08-23 722
项目背景 本次论文复现是源自百度顶会论文复现营： https://aistudio.baidu.com/aistudio/education/group/info/1340 复现对象是 2020 ICLR 上的 U-GAT-IT 这篇论文： https://github.com/znxlwm/UGATIT-pytorch 论文阅读笔记： https://blog.youkuaiyun.com/qq_42067550/article/details/107833629 论文的源代码是 Pytorch 版本
利用飞桨PaddlePaddle实现论文复现之StarGANv2
m0_49475842的博客
08-06 828
利用飞桨PaddlePaddle实现论文复现之StarGANv2 首先明确复现论文对象，《 Diverse Image Synthesis for Multiple Domains》。 一、任务价值 通过学习本论文，掌握StarGANv2以后，可以实现多领域间的多样化图像转换(image-to-image translation)，具体来说，包括： 1.生成图像多样化； 2.能够在多个域上具备扩展性。 二、关键概念 1.Domain 一组具有视觉上的风格独特的图像。 我的理解，比如现代风格和仿古风格，犹如旗
【飞桨PaddlePaddle论文复现课程】【GAN】论文解读之StarGAN v2
FlyingPie的专栏
08-11 860
一、前言 论文复现课程链接：https://aistudio.baidu.com/aistudio/education/group/info/1340 这篇博客主要是对飞桨PaddlePaddle论文复现课程中GAN论文的解析. 二、论文解读 论文的任务是多域图像转换（Multiple Domain Image-to-Image translation） 涉及到2个关键概念： Domain：一组可以分为视觉上独特类别的图像 Style：每个图像都有唯一的外观 论文动机： ...
飞桨PaddlePaddle论文复现营-U-GAT-IT论文解读
Steven_mask的博客
08-06 708
飞桨PaddlePaddle论文复现营-U-GAT-IT论文解读 U-GAT-IT U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation 将自适应实例归一化层应用于无监督生成注意网络的图像到图像转换 code（代码） ： https://github.com/taki0112/UGATIT（tensorfl
飞桨paddlepaddle论文复现营论文阅读笔记
weixin_45662166的博客
08-06 528
飞桨paddlepaddle论文复现营论文阅读笔记论文：ECO: Efficient Convolutional Network for Online Video Understanding摘要相关工作网络体系结构ECO Lite & ECO Full算法过程： 论文：ECO: Efficient Convolutional Network for Online Video Understanding 摘要 目前视频理解技术存在两个问题： （1）推理的主要部分是在视频中局部进行的，因此，它忽略了几秒钟内动作
StarGAN-v2
02-15
StarGAN-v2 客观的： 为了训练单个生成器G，其生成与给定图像x相对应的每个域y的不同图像。 本文中使用的技术术语： 多样的图像：每次给定源图像和域时都产生不同的图像。 （StarGAN的缺点） 域：一组图像，形成视觉上独特的类别。 例如：一个人的性别 样式：每个图像的唯一外观。 例如：发型，化妆等。 潜在空间：一个空间，在该空间上表示压缩数据以删除无关的信息并找到两个数据点之间的基本相似性。 。 阅读更多 网络尝试在每个域的学习样式空间中生成特定于域的样式矢量，并训练G在输出图像中反映这些矢量 网络组成 生成器G ：获取输入图像x和样式代码s以生成输出图像。 样式代码消除了将图像的域提供给G的需求，从而允许G生成所有域的图像。 s旨在表示特定域y的样式，从而消除了向G提供y并允许tit合成所有域图像的必要性。 映射网络F ：获取域（ y ）和潜在代码z （高斯噪声）以
stargan-v2:StarGAN v2-官方PyTorch实施（CVPR 2020）
05-12
StarGAN v2-官方PyTorch实施 StarGAN v2：多个域的多样化图像合成*，* *，*，在CVPR 2020中。（*表示相等的贡献） 论文： : 视频： ： 摘要：良好的图像到图像转换模型应学习不同视觉域之间的映射，同时满足以下属性：1）生成图像的多样性和2）在多个域上的可伸缩性。 现有方法解决了其中一个问题，即对于所有域而言，其多样性有限或具有多个模型。 我们提出了StarGAN v2，这是一个可以同时解决这两个问题的框架，并且在基线之上显示出明显改善的结果。 在CelebA-HQ和新的动物面Kong数据集（AFHQ）上进行的实验验证了我们在视觉质量，多样性和可伸缩性方面的优越性。 为了更好地评估图像到图像的翻译模型，我们发布了AFHQ，具有较大域间和域内差异的高质量动物脸。 代码，预训练模型和数据集可在clovaai / stargan-v2中找到。 宣
stargan-v2-tensorflow:StarGAN v2-正式Tensorflow实施（CVPR 2020）
03-21
StarGAN v2 —官方TensorFlow实施 由实施 要求 Tensorflow == 2.1.0 Tensorflow-addons == 0.9.1 opencv-python Pillow tqdm 用法 ├── dataset    └── YOUR_DATASET_NAME    ├── train           ├── domain1 (domain folder) ├── xxx.jpg (domain1 image) ├── yyy.png ├── ... ├── domain2 ├── aaa.jpg (domain2 image) ├── bbb.png
StarGANv2: Diverse Image Synthesis for Multiple Domains论文解读及实现
weixin_42529756的博客
08-13 720
starganv2图片风格迁移论文解读及实现
StarGANv2
weixin_45685184的博客
03-19 1449
v1和v2的差异 v1中对于domain和attribute的定义 attribute：图像本身显而易见的特征，例如：头发颜色，性别或者年龄等 attribute value：每一个attribute可以有一组value；例如头发颜色可以有：棕色/金色/黑色 domain:：一组图片有相同的attribute value；例如所有头发为黑色的男人女人可以作为一个domain v2中对于domain和style的定义 domain：一组图片从视觉上进行分类； style：每一张图片都有自己的风格 例如
StarGan v2 -飞桨PaddlePaddle 论文复现 之论文阅读
maoxy的专栏
08-05 472
最近参加百度飞浆的论文复现课程，课程免费，有一定挑战性。 论文复现课程链接：https://aistudio.baidu.com/aistudio/education/group/info/1340 复现课程涉及到GAN生成和视频分类两个方向的9篇论文，老师大致综述和领读相关论文后，学员需要选择一篇来精读并用PaddlePaddle进行复现。不是直接从论文出发开始复现哈，而是基于论文并结合Pytorch的参考代码用PaddlePaddle来进行复现，要求精度达到原论文...
[CVPR2020] StarGAN v2
热门推荐
xby的学习笔记存档处
06-02 1万+
基于StarGAN，改进点 （B）将原ACGAN+PatchGAN的鉴别器 换成 多任务鉴别器，使生成器能转换全局结构。
(starGAN v2)StarGAN v2: Diverse Image Synthesis for Multiple Domains
HHzdh的博客
12-18 1258
论文：https://arxiv.org/abs/1912.01865 源码：GitHub - clovaai/stargan-v2: StarGAN v2 - Official PyTorch Implementation (CVPR 2020) 代码解读：[CVPR2020] StarGAN v2_xby的学习笔记存档处-优快云博客_stargan v2 Abstract 一个好的图像到图像的translation模型应该学习不同视觉域之间的映射，同时满足以下特性:1)生成图像...
StarGAN v2: Diverse Image Synthesis for Multiple Domain
AI天才研究院
08-02 1188
在过去的十年里，生成对抗网络（GANs）已经推动了图像、视频、音频等各种数据形式的创作和转化。通过学习一种已知图像的模式并生成类似但不完全相同的新图像，这种生成模型被广泛应用于视觉艺术、科学、工程和游戏设计等领域。在现实世界中，一个对象可以有多种外观或形态，比如一只猫可能有黑白两色的外表，也可能有褐色的毛皮和蓝色的耳朵；在计算机视觉任务中，目标对象可以有多种属性，如身材高大丰满，身材矮小瘦弱，面部轮廓复杂，皱纹横冲直撞……这些差异性造就了图像数据的多样性。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值