Self-Attention-Generative-Adversarial-Networks（2019 ICML，HanZhang IanGoodfellow）

最新推荐文章于 2022-06-21 21:31:50 发布
原创 最新推荐文章于 2022-06-21 21:31:50 发布 · 795 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#GAN #attention #生成对抗式网络 #注意力机制 #图像合成

本文介绍了一种新的生成对抗网络SAGAN，通过引入自我注意力机制解决了传统GAN在处理空间分离特征时的不足，并采用光谱正则化稳定训练过程。实验结果表明该方法能有效提高图像生成质量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1 背景

自从GAN提出后，其在图像合成领域一直非常火热，尤其是基于深度卷积神经网络的GAN。

对于多分类实验结果不理想，GAN擅于获取具有连续几何结构的模式，比如能精确模拟狗的毛发而对几只分散的脚无法准确判断。
这可能是由于对卷积的频繁使用导致的，因为卷积核受到视野域的影响，空间分离的模式只有在深层网络中才能挖掘。
增大卷积核可以缓解该问题，但会增大计算量。

注意力机制可以花费少量的计算获取特征的权重以克服空间分离的问题。

相关工作证实被很好地约束的生成器能使结果表现更佳。

2 挑战

  1. GAN的训练对超参数的选择敏感。
  2. 空间分离问题。

3 创新

  1. 将注意力机制引入GAN的生成器和判别器，提出Self-Attention-Generative-Adversarial-Networks，SAGAN。
  2. 将光谱正则化引入GAN的生成器和判别器，以避免异常的梯度出现，稳定训练过程。
  3. 对生成器和判别器使用不同的学习率。

4 方法

在这里插入图片描述

5 实验

使用光谱正则化（spectral normalization，SN） 和不平衡学习率（imbalanced learning rate，TTUR）的实验结果如下所示，可见对训练的稳定性具有很好的作用。
在这里插入图片描述
将注意力模块和残差模块进行对比如下表所示，说明该模块对性能的提升作用并不是仅仅因为增加了网络的深度和复杂度。在这里插入图片描述
将注意力图进行可视化，发现它对图片中空间离散的模式挖掘得较好。
在这里插入图片描述
下表说明该方法对类别条件图像生成任务也具有较好的表现。
在这里插入图片描述

Self Attention Generative Adversarial Network
AI天才研究院
08-01 2099
2017年，微软亚洲研究院发布了基于Self-Attention的GAN模型——SAGAN（Self-Attention Generative Adversarial Networks）。该模型通过将判别器(Discriminator)、生成器(Generator)和自注意机制(Self-Attention Mechanism)联合训练，消除了模型参数之间的依赖性，提高了模型的泛化能力。
NIPS 2016 Tutorial: Generative Adversarial Networks , by Ian Goodfellow
09-24
NIPS 2016 Tutorial: Generative Adversarial Networks（生成对抗网络） , by Ian Goodfellow
Self-Attention Generative Adversarial Networks解读+部分代码
EwanRenton
08-02 8732
引言 这篇是文章是Ian goodfellow他们的新工作，在GAN中引入Attention。 在文章的摘要中作者主要突出了三点。 Self-Attention Generative Adversarial Network(SAGAN)是一个注意力驱动，长范围 关联模型(attention-driven, long-range dependency modeling )。 传统的GA...
[论文笔记]Self-Attention Generative Adversarial Networks
weixin_44363205的博客
04-07 1560
1、文献综述 文章链接：链接 文章题目：《Self-Attention Generative Adversarial Networks》 项目地址：1.TensorFlow版               \,\,\,\,\,\,\,\,\,\,\,\,\,\, 2.pytorch版 2、文献导读 本文提出了Self-Attention Generative Adversarial Networks...
(SAGAN)Self-Attention Generative Adversarial Networks
HHzdh的博客
12-18 1899
core idea：将self-attention机制引入到GANs的图像生成当中，来建模像素间的远距离关系，用于图像生成任务 CGAN的缺点: 1.依赖卷积建模图像不同区域的依赖关系，由于卷积核比较小一般都是1*1，3*3,5*5，导致卷积感受野太小，需要进行多层卷积才能获取远距离的依赖关系 2.多层卷积，优化算法优化参数困难 Abstract 在本文中，我们提出了自我注意生成对抗网络(SAGAN)，它允许注意力驱动的远程依赖建模的图像生成任务。传统卷积GAN在低分辨率特征地图中仅通...
Self-Attention Generative Adversarial Networks
weixin_37958272的博客
06-23 909
Self-Attention Generative Adversarial Networks 在本文中，我们提出了自注意生成对抗网络（SAGAN），它允许对图像生成任务进行注意驱动的远程依赖建模。传统的卷积GANs只在低分辨率特征图中产生局部空间点的函数，从而产生高分辨率的细节。此外，鉴别器可以检查图像的遥远部分中的高度详细的特征是否彼此一致。此外，最近的工作表明，generator conditioning GAN的性能。利用这一观点，我们将光谱标准化应用于GAN生成器，并发现这改善了训练表现。在具有挑
Self-Attention Generative Adversarial Networks（SAGAN）理解
ggyy的NoteBook
08-15 8155
介绍 Self-Attention Generative Adversarial Networks（SAGAN）是Han Zhang, Ian Goodfellow等人在去年提出的一种新的GAN结构，网络主要引入了注意力机制，不仅解决了卷积结构带来的感受野大小的限制，也使得网络在生成图片的过程中能够自己学习应该关注的不同区域。从结果上来看，SAGAN相比于之前最好的结构，在 Inception s...
Self-Attention Generative Adversarial Networks 论文解读
qq_36204845的博客
06-29 423
Self-Attention Generative Adversarial Networks 文章目录Self-Attention Generative Adversarial NetworksIntroductionSAGANExperimentsConclusionReference 我们提出了SAGAN，SAGAN对于图像生成任务允许注意力驱使、长距离依赖建模。传统的卷积GAN生成高分辨率...
2018/GAN:Self-Attention Generative Adversarial Networks自我注意生成对抗网络
ssshyeong的博客
06-21 1961
在本文中，我们提出了自我注意生成对抗网络(Self-Attention Generative Adversarial Network, SAGAN)，该网络允许对图像生成任务进行注意力驱动的长期依赖建模。在SAGAN中，可以使用所有特征位置的线索来生成细节。此外，该鉴别器还可以检查图像远处部分的高细节特征是否一致。我们将光谱归一化应用于GAN生成器，并发现这改善了训练动力学。提出的SAGAN比之前的工作表现更好.........
Python-Pytorch实现SelfAttentionGenerativeAdversarialNetworksSAGAN
08-11
Pytorch实现Self-Attention Generative Adversarial Networks (SAGAN)
Python-SelfAttentionGenerativeAdversarialNetworksSAGAN的简单Tensorflow实现
08-11
Simple Tensorflow implementation of "Self-Attention Generative Adversarial Networks" (SAGAN)
Generative Adversarial Networks
03-25
Generative Adversarial Networks，GAN，一种深度学习算法的论文
06.SAGAN（Self-Attention Generative Adversarial Networks）
weixin_44177594的博客
04-07 1576
SAGAN摘要introductionproblemsSAGAN的优点好处：SAGAN理论架构SAGAN 优化1. Spectral Normalization2. TTURmore details结果展示评估两个技巧self-attention机制 摘要 提出了一种基于自我注意力生成的对抗性网络(the Self-Attention Generative Adversarial Network), 可以注意力驱动、远距离依赖（long-range dependency）来完成生成图片的任务。传统的卷积GA
Self-Attention Generative Adversarial Networks (SAGAN) 笔记
icylling的专栏
01-27 893
该方法在生成器和判别器中引入self-attention。
Self-Attention Generative Adversarial Networks (SAGAN) 论文模型复现
dick的博客
05-11 1109
Lab midterm report —— Self-Attention Generative Adversarial Networks Paper Title: Self-Attention Generative Adversarial Networks Paper Authors: Han Zhang, Ian Goodfellow, Dimitris Metaxas, Augustus Od...
SA-GAN - Self-Attention Generative Adversarial Networks 论文解读（附代码）
热门推荐
mx54039q的博客
07-03 1万+
Self-Attention Generative Adversarial Networks
SAGAN(Self-Attention Generative Adversarial Networks)论文解读附自己的理解
Amberrr的博客
09-12 5720
Self-Attention Generative Adversarial Networks TensorFlow代码：https://github.com/taki0112/Self-Attention-GAN-Tensorflow Pytorch代码（作者源码）：https://github.com/heykeetae/Self-Attention-GAN 看论文之前看了两篇比较好的文章...
self-attention generative adversarial networks
03-16
自注意力生成对抗网络（self-attention generative adversarial networks）是一种深度学习模型，它结合了自注意力机制和生成对抗网络。自注意力机制是一种能够让模型自动学习输入序列中不同位置之间的依赖关系的技术...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值