Self-Attention GAN的一些理解

最新推荐文章于 2025-07-01 07:17:33 发布
最新推荐文章于 2025-07-01 07:17:33 发布
阅读量9.8k 收藏 22
点赞数 4
CC 4.0 BY-SA版权
分类专栏： python cnn deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_26414307/article/details/85112217
本文探讨Self-Attention GAN的工作原理，它通过重新分配权重来增强feature map的全局信息，弥补小卷积核的局限。通过1x1卷积、softmax等操作，生成attention map，实现特征点之间的相互影响，类似于全连接层在卷积网络中的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

其实那么多的attention机制，说白了就是一句话，重新分配权重，比如说现在有一个n维向量[x1, x2, x3..., xn]，我觉得x1的值不足以代表其真实情况，所以希望利用x2,...xn的值来对其进行“修补”, 然后就是要找到一组权重w1, w2, w3...wn, 对其求加权平均（也不一定是加权平均，看实际需求）来得到x1的最终值（当然，实际应用中会涉及到一些维度映射，Query-Key-Value等内容，但大体框架都基于此）。

而Self-Attention GAN与之前的non local neural network极为相似（换了个皮？），以下为一些理解。

对于当前得到的feature map X（shape=[C, N]，C为channel， N为特征点数，例如在12*12图像中，将其展平，就得到144个特征点），我希望其能够得到更加全局的信息来弥补小卷积核信息获取不足的缺陷。

SAGAN

 

根据上图，对于feature map X，上面两路是获取attention map, 下面一列是一个线性变换，最后相乘得到最终结果。

对于第一路（f(X)那一行）,首先X经过一个1x1 卷积，得到f(x) (shape=[C/8, N]，C/8是文中的参数，可自由替换，个人理解是为了减少计算量设置的), 而第二路（g(x)一行），也是一个1x1卷积，得到g(x) (shape=[C/8, N])，然后对f(x)进行转置后与g(x)进行矩阵乘法，得到A2(shape=[N, N])，然后对其每一行进行softmax，即可得到所有特征点对某一个特征点的权重，即attention map A中的每一行相加为1, 第i行的N个数分别代表在第i个点上其余所有点对其的贡献，这样通过每一行就能得到其他所有点对这个点的贡献值，而每一列则可以得到某一个点对其他所有点的贡献值。然后最后一行1x1卷积

最低0.47元/天 解锁文章

200万优质内容无限畅学
PyTorch生成式人工智能（15）——自注意力生成对抗网络（Self-Attention GAN, SAGAN）
盼小辉丶的博客
07-10 1255
自注意力生成对抗网络 (Self-Attention Generative Adversarial Network, SAGAN) 通过在传统 GAN 中嵌入自注意力机制，有效捕捉图像中的长距离依赖关系，从而生成具有全局一致性和丰富细节的图像。本节详细阐述了自注意力模块的工作原理，包括查询-键-值映射和注意力权重计算，并展示了谱归一化技术如何提升训练稳定性。本节介绍了 SAGAN 的核心原理与 PyTorch 实现，并给出了在 CelebA 人脸数据集上的训练流程和生成效果。
生成对抗神经网络 | PyTorch实现Self-Attention GAN自注意力机制结合生成对抗神经网络
前程算法屋的博客
04-01 1013
注意力机制 | PyTorch实现Self-Attention GAN自注意力机制结合生成对抗神经网络
GAN-tricks之Self-Attention
qq_43258953的博客
04-02 484
一，Self-Attention-Gan将注意力机制运用到GAN中，解决GAN在生成图像时无法关注到长距离相关结构的问题。 https://github.com/taki0112/Self-Attention-GAN-Tensorflow 二，Self-Attention作用是能够更好地学习到全局特征之间的依赖关系。因为传统的 GAN 模型很容易学习到纹理特征：如皮毛，天空，草地等，不容易学习到特...
Self-attention GAN
雪碧橙子
04-15 3722
SAGAN是使用注意力机制的长期依赖的生成模型（“长期的”没明白）。传统的卷积GAN生成高分辨率细节，以低分辨率特征图中的空间局部点作为方法。【这个点的翻译我也懵逼】SAGAN可以从所有的特征位置上产生细节， ...
Self-Attention(自注意力机制)
最新发布
feifeikon的博客
07-01 317
在进行Self - Attention之前，我们首先定义3个1×4的input。x = [
SAGAN: Self-attention GAN
连理o的博客
08-03 616
目录SAGANSelf-attentionSpectral normalization (SN) for both G and DImbalanced learning rate for G and D (TTUR)BigGAN SAGAN Self-attention Spectral normalization (SN) for both G and D G: Generator D: Discriminator σ(W)\sigma (W)σ(W): WWW 中最大的 sigular valu
Self-Attention GAN 中的 self-attention 机制
Paper weekly
03-06 3452
作者丨尹相楠学校丨里昂中央理工博士在读研究方向丨人脸识别、对抗生成网络Self Attention GAN 用到了很多新的技术。最大的亮点当然是 self-attenti...
Self-Attention GANs 自注意力网络
comea23的博客
06-27 703
Self-Attention-GAN-Tensorflow-master.zip
05-29
标题"Self-Attention-GAN-Tensorflow-master.zip"表明这是一个使用Tensorflow框架实现的Self-Attention GAN（生成对抗网络）项目。Self-Attention机制是近年来在深度学习领域引入的一种新颖技术，它允许模型在处理...
SelfAttention GAN介绍
AI天才研究院
10-12 876
作者：禅与计算机程序设计艺术 1.背景介绍 Self-Attention GAN (SAGAN) 是一种新的Generative Adversarial Network (GAN)，它主要解决了传统GAN存在的问题。它提出了一个改进版的GAN架构，其中Generator通过将不同空间下位置相关的信息
Paper Reading: Self-Attention-GAN
外婆家的大灰狼
07-01 800
Paper Reading Note URL: https://arxiv.org/pdf/1805.08318.pdf 相关代码： pytorch: https://github.com/heykeetae/Self-Attention-GAN tensorflow: https://github.com/brain-research/self-attention-gan TL;DR 将注意力...
SAGAN:Self Attention GAN的TensorFlow实现
04-29
萨根 Self Attention GAN的TensorFlow实现 进展：SAGAN在理论上起作用； 需要进行收敛测试； 必须计算数据集的均值和方差
使用attention+GAN网络输入文本生成和文本相匹配的图像（文本描述生成）
08-19
该代码是CVPR2018一篇关于文本到图像合成的文章，经过测试可以使用
selfgan_GaN_tensorflow_
10-01
tensorflow2.3版本的GAN 自己写的
AttentionGAN:用于未配对图像到图像翻译和多域图像到图像翻译的 AttentionGAN
08-04
用于未配对图像到图像转换的 AttentionGAN-v2 AttentionGAN-v2 框架 建议的生成器学习前景和背景注意力。 它使用前景注意力从生成的输出中选择前景区域，同时使用背景注意力来维护来自输入图像的背景信息。 请参阅我们的论文了解更多详情。 与最先进方法的比较 自拍到动漫翻译 马到斑马的翻译 斑马到马的翻译 Apple 到 Orange 的翻译 橙色到苹果的翻译 地图到航拍照片翻译 航拍照片到地图翻译 风格转移 学习注意力掩码的可视化 自拍到动漫翻译 马到斑马的翻译 斑马到马的翻译 Apple 到 Orange 的翻译 橙色到苹果的翻译 地图到航拍照片翻译 航拍照片到地图翻译 扩展纸| 会议论文 AttentionGAN：使用注意力引导生成对抗网络的未配对图像到图像转换。 Hao Tang 1 、 Hong Liu 2 、 Dan Xu 3
Self-Attention GAN: 技术分析与应用推荐
gitblog_00061的博客
03-23 514
Self-Attention GAN: 技术分析与应用推荐 项目介绍 Self-Attention GAN 是一个基于生成对抗网络（GAN）的图像生成项目，旨在通过自注意力机制（self-attention mechanism）提高模型的性能和效率。该项目的核心特点是引入了自注意力机制，从而使得模型能够更好地学习图像中的关键信息。 技术分析 生成对抗网络 生成对抗网络是一种深度学习模型，由生成器和...
SA-GAN(Self-Attention GAN)学习笔记
dx199771的博客
02-21 4041
在做text2image GAN时候做文献阅读时看到的SAGAN，这里做一个简要得学习笔记，欢迎纠错讨论。 Self-Attention Generative Adversarial Networks (SAGAN) SAGAN在ImageNet可到达36.8的Inception Score 和 18.65的Frechet Inception Distance。也是BIG-GAN的原型。 传统卷积GAN问题： 受局部感受野限制(Local Receptive Field)，无法提取全局信息，只能提取
自注意力生成对抗网络（Self-Attention GAN）：开启图像生成的新篇章
gitblog_00706的博客
08-09 800
自注意力生成对抗网络（Self-Attention GAN）：开启图像生成的新篇章 项目地址:https://gitcode.com/gh_mirrors/sel/self-attention-gan 项目介绍 Self-Attention GAN是基于TensorFlow的开源实现，旨在复现Han Zhang等人在论文《Self-Attention Generative Adversarial ...
Self-Attention GAN 教程
gitblog_00945的博客
08-09 896
Self-Attention GAN 教程 self-attention-gan项目地址:https://gitcode.com/gh_mirrors/sel/self-attention-gan 1. 项目介绍 Self-Attention Generative Adversarial Networks (SAGAN) 是一个由微软亚洲研究院开发的深度学习模型，它扩展了传统的生成对抗网络（GA...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值