Generative Adversarial Network（李宏毅老师系列）

最新推荐文章于 2025-03-03 16:48:35 发布
最新推荐文章于 2025-03-03 16:48:35 发布
阅读量792 收藏 9
点赞数 28
分类专栏： 科研路 文章标签： 神经网络 人工智能 深度学习 nlp gan
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Moliay/article/details/141142918
版权

自学参考：
thispersondoesnotexist
Generative Adversarial Nets
GAN论文逐段精读
视频课
课件+资料
笔记

一、引入

输入network的，除了x以外还有一个从某一简单的（已知）分布中随机采样得到的一个random的variable z z z
在这里插入图片描述
分布：高斯分布、均一分布

方法：

  • X,Z两个向量直接接起来,变成一个比较长的向量,作为network的input
  • X跟Z正好长度一样，相加以后,当做network的input

从network输出的也将是一个分布。

  • Creativity
    在这里插入图片描述

  • Unconditional Generation：没有 x x x,只看 z z z
    Z是从一个normal distribution（z所选择的不同的distribution之间的差异并没有真的非常大，generator会想办法把这个简单的distribution对应到一个复杂的distribution。⇒可以简单地选择“正态分布”）里sample出来的向量,通常会是一个low-dimensional的向量
    一张图片就是一个非常高维的向量,所以generator实际上做的事情,就是产生一个非常高维的向量
    当你输入的向量不同的时候,你的输出就会随之改变
    在这里插入图片描述

  • Discriminator（判别器）
    在这里插入图片描述

  • Basic Idea of GAN
    在这里插入图片描述

二、GAN

Algorithm

以生成动漫人像为例

  1. 初始化generator与discriminator。开始以下迭代:

  2. Fix generator G, and update discriminator D
    （1）generator的参数,是随机初始化的，从这个高斯分布中,去random sample一堆vector丢到generator里，出一些图片会跟正常的二次元人物非常的不像。
    （2）对discriminator来说,这就是一个分类的问题,或者是回归的问题。需要拿真正的二次元人物头像,跟generator产生出来的结果,去训练你的discriminator,分辨他们的差异：
    ① 如果视作分类的问题,你就把真正的人脸当作类别1,Generator产生出来的,这些图片当作类别2,然后训练一个classifier
    ②如果视为regression的问题,让discriminator看到真实二次元人脸图片就输出1,看到生成的图片你就输出0
    在这里插入图片描述

  3. Fix discriminator D, and update generator G
    固定住判别器，训练Generator，目标是Discriminator的输出值越大越好
    ⇒假设Discriminator已经能够分辨照片的真假，让它觉得是真正的图片的话,那generator产生出来的图片,可能就可以以假乱真
    另一个角度，把generator跟Discriminator直接接起来,当做一个比较大的network来看待,通过调整前几层Generator部分的参数，使得整个模型的输出分数越大越好。
    用gradient ascent，调整generator，让目标函数越大越好。
    在这里插入图片描述

Theory

  • 目标objective:让生成器产生的和真实数据的分布尽可能接近
    • 从normal distribution中采样一堆vector给generator，产生一个较复杂的distribution，这个较复杂的distribution称为PG
    • 有一堆真正的Data形成了另外一个distribution，叫做Pdata
      我们的目标是PG和Pdata越接近越好
      在这里插入图片描述
  • 散度divergence衡量分布之间的距离
    通过sample数据，借助discriminator来计算
  • 训练discriminator
    • 看到real data，就给比较高的分数
    • 看到generative的data，就给比较低的分数
      在这里插入图片描述
  • 公式形式：
    • V：对于从Pdata里sample出来的真正的image，希望其评分越高越好；从PG即generator所产生的image，希望其评分越低越好
    • V式子经过推导可以发现，他和JS散度有关，可以衡量两个分布之间的距离
      在这里插入图片描述
  • 训练过程等价于训练一个二元分类器
    在这里插入图片描述
    其中，V的形式等价于crossentropy乘上负号
    在这里插入图片描述
  • 思考：
    • PG 跟
最低0.47元/天 解锁文章
生成对抗网络(Generative Adversarial Network)
AI天才研究院
07-12 1263
生成对抗网络(Generative Adversarial Network) Generative Adversarial Networks. 本文目录： 理解生成对抗网络：博弈论视角、优化视角、能
Generative Adversarial Networks 生成对抗网络的简单理解
somTian的博客
05-13 1735
这几年在机器学习领域最亮最火最耀眼的新思想就是生成对抗网络了。这一思想不光催生了很多篇理论论文，也带来了层出不穷的实际应用。Yann LeCun 本人也曾毫不吝啬地称赞过：这是这几年最棒的想法！
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Generative Adversarial Network 生成式对抗网络（GAN）
知不足而奋进，望远山而前行
11-10 2万+
下面是小精灵游戏画面，有很多小精灵在“迷宫”里走动。现给出一个需求，需要通过当前的游戏画面，预测下一帧的画面传统神经网络的做法是，将前面一帧或几帧的画面图片作为特征，当前画面图片作为标签进行训练，目的是使得通过历史画面，输出的画面和当前画面越接近越好。有人按照这样的思路做了，结果出现了一个问题，小精灵在走到岔路口时，会一分为二，分裂成两个小精灵，这是为什么呢？这是因为在岔路口时，即使是同样的历史画面，小精灵也有可能向左走或者向右走，所以在训练集里，很存在这样“矛盾”的标签，即同样的特征，但是输出不同，为了满
深入理解生成对抗网络（GAN）：原理、实现与应用
最新发布
z5566778888的博客
03-03 2217
生成对抗网络（Generative Adversarial Network，GAN）是由 Ian Goodfellow 等人于 2014 年提出的一种深度学习模型。GAN 的核心思想是通过两个神经网络的对抗训练来生成逼真的数据。生成器（Generator）：生成假数据。判别器（Discriminator）：区分真实数据和生成器生成的假数据。GAN 在图像生成、图像修复、风格迁移等领域取得了显著成果。GAN 是一种强大的生成模型，通过生成器和判别器的对抗训练，能够生成逼真的数据。
【GAN】Spectral Normalization 谱归一化-原理及实现
lingchen1906的博客
03-28 4482
谱归一化由论文《Spectral Normalization For Generative Adversarial Networks》提出。原生 GAN 的目标函数等价于优化生成数据的分布和真实数据的分布之间的 J-S 散度 (Jensen–Shannon Divergence)。而由于二者间几乎不可能有不可忽略的重叠，所以无论它们相距多远JS散度都是常数log2，最终导致生成器的梯度（近似）为0，梯度消失。也就是说判别器训练越好，生成器梯度消失越严重。
Generative Adversarial Network（生成对抗网络）
长路漫漫亦灿灿
06-20 2377
生成对抗网络（GAN），变分编码器（VAE）
李宏毅-Generative Adversarial Network
12-18
李宏毅-Generative Adversarial Network PPT 视频教学
李宏毅： improved generative adversarial network（GAN）
jiaojiaolou的博客
06-05 498
1、generation 从normal distribution（正态分布）中sample出一些点： generator需要update它的参数，使得它output产生的image能被discriminator误认为它是realistic。 再update discriminator，使得之前被它判断出来是realistic的image重新判断为fake。 不断更...
2021李宏毅机器学习笔记--22 Generative Adversarial Network 01
guoxinxin0605的博客
08-29 704
@[TOC](2021李宏毅机器学习笔记–22 Generative Adversarial Network 01(GAN,生成式对抗网络)) 摘要 GAN是建立于神经网络的基础上的，其核心思想是“生成”与“对抗”，GAN网络结构包含两个模型，一个是生成模型（Generator），另一个是判别模型（Discriminator）。生成模型一般是使用反卷积神经网络或者全连接神经网络，通过输入的数据生成二维图像，而判别模型是一个卷积神经网络二元分类器，它的工作主要是负责判断生成模型所生成的图像是来自数据集的真
GAN系列：代码阅读——Generative Adversarial Networks & 李宏毅老师GAN课程P1+P4
lynlindasy的博客
02-20 2132
看了一上午简直要头疼死。GAN之前没接触过，学习的时候产生了很多乱七八糟的联想。从上篇文章开始，很多内容都是自己的理解，估计有很多错误，以后学习中发现了可能会回来修改的。 找的是机器之心i的代码：https://gitahub.com/jiqizhixin/ML-Tutorial-Experiment/blob/master/Experiments/Keras_GAN.ipynb，用Keras实...
对抗生成网络（Generative Adversarial Network）
MapleStory的博客
12-20 1742
本课程是针对李宏毅教授在Youtube上上传的机器学习课程视频的学习笔记。课程视频地址Introduction Outline Basic Idea of GAN When do we need GANIntroduction某人在Quara上的问题：非监督学习领域最近有没有什么突破性的进展呢？Lecun大神亲自回答：对抗训练可能是有史以来（since sliced bread，有一个好东西出现的意
Python-SpectralNormalizationforGenerativeAdversarialNetworks简单Tensorflow实现
08-11
"Spectral Normalization for Generative Adversarial Networks" (ICLR 2018)简单Tensorflow实现
GAN（Generative Adversarial Nets (生成对抗网络)）
qq_42728437的博客
05-15 3961
②部分，此时判别器D的输入为G(z)，为假图像，但是我们期望的是生成器的效果好，即尽可能的瞒过D，也就是期望D(G(z))尽可能大，越大表示D判定假图像为真实数据的概率越大，也就表明生成器G生成的图像效果好，可以成功的骗过D。在训练的时候，D(G(z))越大越接近于1，y越小，生成器生成的假图越被判别器误判为真图。但训练刚开始时，生成的图像太假，太容易被判别器识破，D(G(z))接近0，log(1-D(G(z)))饱和无梯度，所以将最小化log(1-D(G(z)))变为最大化log(D(G(z)))
05.SNGAN（Spectral Normalization for Generative Adversarial Networks）
weixin_44177594的博客
04-07 1463
参考链接 SNGANintroducemethod频谱范数实现奇异值conclusion introduce 现在我们的目的，是要保证对于每一个位置的 x，梯度的模都小于等于 1。在神经网络中，将梯度的模限制在一个范围内，抽象地来说就是让产生的函数更平滑一些，最常见的做法便是正则化。SNGAN（频谱归一化 GAN）为了让正则化产生更明确地限制，提出了用谱范数标准化神经网络的参数矩阵 W，从而让神经网络的梯度被限制在一个范围内。 method 频谱范数 Lipschitz： 我们的目的就是为了满足Li
李宏毅：generative adversarial network（GAN）
jiaojiaolou的博客
06-01 781
1、auto-encoder 2、VAE（Variational Auto encoder） 3、learn discriminator & generator （1） how to learn GAN discriminator discriminator（辨别器）就是一个binary classifier，辨别一个image是real的还是fake的。 generat...
对抗生成网络（Generative Adversarial Net)
热门推荐
雨石
11-13 7万+
现在，生成模型还没有体会到深度学习的利好，在Discriminative模型上，成果如雨后春笋，但在生成模型上，却并非如此。原因如下： - 在最大似然估计及相关策略上，很多概率计算的模拟非常难 - 将piecewise linear units用在生成模型上比较难 那么，是不是生成模型就借不了深度学习发展的东风了呢？我只能说，有的时候，不得不曲线救国。
[Deep Learning] Generative Adversarial Networks (GANs)
华北小龙虾的博客
06-07 344
Generative Adversarial Networks是深度学习的一种技术，主要目标是生成近似于真实数据分布的新数据。它是由两部分组成：Generator和Discriminator。Generator：Generator的任务是生成新的数据样本。在训练过程中，generator接收到一组随机噪声z，并通过该噪声生成数据。初期，generator生成的数据并不能很好的模仿真实的数据分布，但是随着训练的进行，generator将能够生成更好的模仿真实数据的样本。
生成对抗网络（Generative Adversarial Network，简称GAN
m0_70066267的博客
07-24 2113
生成对抗网络（GAN）作为一种强大的深度学习模型，通过生成器和判别器的相互对抗进行学习，展示了在多个领域的广泛应用潜力。尽管GAN的训练过程存在不稳定性、评估困难等挑战，但随着研究的深入和技术的不断发展，相信GAN将在更多领域发挥重要作用，推动人工智能技术的进一步发展。未来，随着计算资源的不断提升和模型结构的持续优化，GAN的性能和应用范围将得到进一步提升和拓展。
CVPR2021 最具创造力的那些工作成果！或许这就是计算机视觉的魅力！
zero的博客
07-17 1006
点击下方“AI算法与图像处理”，一起进步！ 重磅干货，第一时间送达 大家好，终于肝出来了！无论是不是你的研究方向，这次希望能给打工人周末依然在拼的人点个赞和在看！谢谢啦今天分享的内内容：...
generative adversarial network
03-16
生成对抗网络 (Generative Adversarial Network, GAN) 是一种用于生成新数据的神经网络模型。它由两部分组成：生成器和判别器。生成器尝试生成新数据，而判别器尝试分辨出生成的数据是否与真实数据相似。这两部分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值