「Deep Learning」Note on DCGAN（深度卷积生成对抗网络）

最新推荐文章于 2024-10-25 10:50:25 发布
原创 最新推荐文章于 2024-10-25 10:50:25 发布 · 441 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#小锋子 #深度卷积生成网络 #DCGAN #深度学习 #机器学习

QQ Group: 428014259
Tencent E-mail：403568338@qq.com
http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/80035454

0 摘要

DCGANs，如作者描述 ，“have certain architectural constraints”，即设计原则依赖大量的尝试。
无监督学习到的特征，可作为通用图像表征。

1 介绍

2 相关工作

2.1 在无标注数据中学习表征

即无监督表征学习，其中，K-means就是一种经典方法。
在神经网络中，自编码器auto-encoder也是一种流行方法。

2.2 生成自然图像

生成图像模型分为参数和非参数型。非参数型，经典和熟知的有PatchMatch，等等。参数型，提及Kingma和Welling的变分采样方法，即VAE，其常见的缺陷为生成图像是模糊的。还提及，原始GAN和LAPGAN（拉普拉斯GAN）。

2.3 可视化卷积网络的内部神经元

提及两个经典工作，Zeiler的去卷积/反卷积/转置卷积，Mordvintsev的梯度上升。

3 方法和模型架构

通过“extensive model exploration”，作者发现了一族网络架构是可以稳定学习的，并且可以采用更深的模型，可以训练更高分辨率的图像。
作者发现三点设计原则：
其一，采用全卷积网络。strided convolutions代替池化。
其二，移除全连接层。作者发现，全局均值池化可以提高模型稳定性，但是损害收敛速度。
其三，使用Batch Normalization。BN可稳定学习，可防止生成器的模型坍塌。不要在生成器的输出层和判别器的输入层使用BN。
生成器中除了最后一层使用Tanh激活函数，其它层的激活函数采用ReLU。【后来，建议采用泄漏ReLU】作者发现，bounded activation使得模型学习很快饱和，覆盖训练分部的彩色空间。在判别器中，泄漏ReLU更好。原始GAN使用maxout激活并不好。
总而言之，记住如图1所示的设计指导。

图 1

4 对抗训练的细节

数据集：Large-scal Scene Understanding(LSUN), ImageNet-1k
学习率为0.0002
Adam里面的 β 1 \beta_1 β1​由0.9改为0.5，可稳定训练

4.1 LSUN

不采用数据扩充。

4.2 FACES

不采用数据扩充。35万人脸。

4.3 ImageNet-1k

不采用数据扩充。【所以生成任务，不需要进行数据扩充？改变了数据分布，增加拟合难度？还是增加重复图像？】

5 DCGAN能力的经验验证

5.1 使用GAN作为特征提取器，对CIFAR-10进行分类

如原文Table 1所示，利用判别器的特征进行分类，超越非深度学习方法的精度，但是差于Exemplar CNN。

5.2 使用GAN作为特征提取器，对SVHN进行分类

如原文Table 2所示，error rate最低。

6 探究和可视化网络内部

6.1 隐空间游走

6.2 可视化判别器的特征

6.3 操作/编辑生成器的表征

7 结论和未来工作

[1] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks 2015 [Arxiv paper]

DTEO1345
关注
DCGANs (Deep Convolutional Generative Adversarial Networks)
weixin_41697507的博客
02-24 1717
Deep Convolutional Generative Adversarial Networks Generative Adversarial Networks最有趣的部分之一是Generator网络的设计。 发电机网络能够获取随机噪声并将其映射到图像中，使得鉴别器无法分辨哪些图像来自数据集以及哪些图像来自发生器。 这是神经网络的一个非常有趣的应用。 通常，神经网络将输入映射到二进制输出（1或...
坤哥带你学AI之----深度卷积生成对抗网络--DCGAN
weixin_41697507的博客
03-16 741
What are GANs? Generative Adversarial Networks (GANs) are one of the most interesting ideas in computer science today. Two models are trained simultaneously by an adversarial process. A generator (“th...
Deep Convolutional Generative Adversarial Networks
01-21
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks.pdf
(DCGAN)Deep convolutional Generative Adversarial Nets
08-27
基于tensorflow实现的DCGAN，自动生成动漫头像(内有头像数据爬取和裁剪函数)，也可以生成任意数据集（将数据文件夹放于data文件夹下即可，如data/faces/*.jpg）
深度卷积生成对抗网络--DCGAN
chenyanqiao2010的博客
07-29 2万+
深度卷积生成对抗网络
生成对抗网络 图像生成_用生成对抗网络在10分钟内生成图像
weixin_26715991的博客
09-03 7845
生成对抗网络 图像生成Machines are generating perfect images these days and it’s becoming more and more difficult to distinguish the machine-generated images from the originals.如今，机器正在生成完美的图像，将机器生成的图像与原始图像区分开来变得...
利用生成对抗网络生成海洋塑料合成图像
深度学习与计算机视觉
03-16 2346
问题陈述过去十年来，海洋塑料污染一直是气候问题的首要问题。海洋中的塑料不仅能够通过勒死或饥饿杀死海洋生物，而且也是通过捕获二氧化碳使海洋变暖的一个主要因素。近年来，非营利组织海洋清洁组织（...
「Transfer Learning」Note on AdaptSegNet（适配分割网络）
小锋子Shawn
10-21 3278
Sina Weibo：小锋子Shawn Tencent E-mail：403568338@qq.com http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/80024059 AdaptSegNet[1]在标签空间上进行对抗学习。 针对的问题是，基于卷积网络的方法，其泛化能力不足；尤其是当训练/源图像集和测试/目标图像集之间存在较大的领...
使用DCGAN生成动漫风格的人脸并探索其潜在的特征表征
weixin_41697507的博客
04-14 3169
Step by step experimenting DCGAN with visualization of its results Hello everyone , It’s been a while ! Today, I want to write about my result of learning and experimenting another Deep Learning techn...
【GANs】Deep Convolution Generative Adversarial Network
m0_57411450的博客
09-27 480
深度卷积神经网络（Deep Convolution Generative Adversarial Nets）的生成网络在DCGAN中，判别网络是一个传统的深度卷积神经网络，但使用了带步长的卷积来实现下采样操作，不用maxpoolingmaxpoolingmaxpooling操作；生成网络使用了一个特殊的深度卷积网络来实现。如上图，使用微步卷积来生成64×6464×6464×64大小的图像。第一层是全连接层，输入是从均匀分布中随机采样的100维向量zzz。
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
最新发布
u013049912的博客
10-25 902
近年来，卷积网络（CNN）的监督学习在计算机视觉应用中得到了广泛采用。相比之下，CNN 的无监督学习受到的关注较少。在这项工作中，我们希望帮助缩小 CNN 在监督学习和无监督学习方面的成功之间的差距。我们引入了一类称为深度卷积生成对抗网络（DCGAN）的 CNN，它具有一定的架构限制，并证明它们是无监督学习的有力候选者。通过对各种图像数据集的训练，我们展示了令人信服的证据，证明我们的深度卷积对抗对在生成器和鉴别器中学习了从对象部分到场景的表示层次结构。
02.DCGAN(DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS)
weixin_44177594的博客
03-31 275
DCGANCNNGANCNN+GAN CNN CNN的介绍 注意filter的深度问题，更容易理解 GAN GAN的介绍 CNN+GAN DCGAN就是把GAN中的G和D用CNN的架构替换，并且对一些激活函数的调整，总得说就是对网络架构的修改，并且非常厉害的调整参数。 DCGAN中换成了两个卷积神经网络（CNN）的G和D，可以刚好的学习对输入图像层次化的表示，尤其在生成器部分会有更好的模拟效果。DCGAN在训练过程中会使用Adam优化算法。 对于G部分的修改：用反卷积代替全连接网络 （反卷积其实和卷积差不
DCGAN：DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS——论文分析
gongyuandaye的博客
07-09 531
DCGAN将CNN和GAN结合，在训练过程中状态稳定，并可以有效实现高质量的图片生成，因此现在的很多GAN都是在它的基础上进行改进。1、用卷积层代替池化层（如maxpooling），这允许网络学习到自身的上采样和判别器D。 2、去除全连接层，将最高卷积特征直接连接到生成器的输入和判别器的输出，效果很好。 3、使用批归一化（零均值单位方差），解决在深层次网络中梯度低的问题，防止生成器G将所有样本压缩到一个点。但不对生成器G的输出层和判别器D的输入层使用，否则模型会不稳定。 4、生成网络使用ReLU，其中输出层
论文笔记——UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS
粉红豹的妖精洞
05-17 3783
首先给出2篇参考译文 https://ask.julyedu.com/question/7681  http://blog.youkuaiyun.com/c2a2o2/article/details/54408056 GANs的学习系列8 本人的阅读笔记 1引言 从大规模无标签的数据集中学习可重复使用的特征表达是一个具有活力的研究领域。通过无穷的无标签图像来学习一种好的中间表达（good int
DCGAN《Unsupervised representation learning with deep convolutional generative adversarial network》总结
yzqlyzql的博客
08-02 843
DCGAN来源论文《Unsupervised representation learning with deep convolutional generative adversarial networks》读后总结前言文章主要内容与贡献提出了深层卷积生成对抗网络(Deep Convolutional Generative Adversarial Nets, DCGAN)DCGAN属于无监督学习，但...
DCGAN简析（deep convolutional generative adversarial networks）深度卷积生成对抗网络
WYXHAHAHA123的博客
01-26 1328
生成对抗网络最近非常热门，它并不属于监督学习范畴，实际上反过来想，监督学习的功能还是非常强大的，比如图像分类，目标检测，语义分割。GAN比较偏理论性，近年来的进展也非常快，而且文章的citations引用量也非常多。GAN的主要target是以生成一些效果非常逼真的图像为目标，指标评价只能是主观评价，并没有什么量化的指标。 https://medium.com/syncedreview/bigg...
生成式对抗网络GAN研究进展（五）——Deep Convolutional Generative Adversarial Nerworks，DCGAN
热门推荐
Solomon1558的专栏
09-18 4万+
【前言】     本文首先介绍生成式模型，然后着重梳理生成式模型（Generative Models）中生成对抗网络（Generative Adversarial Network）的研究与发展。作者按照GAN主干论文、GAN应用性论文、GAN相关论文分类整理了45篇近两年的论文，着重梳理了主干论文之间的联系与区别，揭示生成式对抗网络的研究脉络。 本文涉及的论文有： Goo
【生成对抗网络】Deep Convolution GAN (DCGAN) 详细解读
__阿健__的博客
12-16 3万+
DCGAN，全称是Deep Convolution Generative Adversarial Networks（深度卷积生成对抗网络），是Alec Radfor等人于2015年提出的一种模型。该模型在Original GAN的理论基础上，开创性地将 CNN 和 GAN 相结合以实现对图像的处理，并提出了 一系列的对网络结构的限制，以提高网络的稳定性。
TensorFlow实现深度卷积生成对抗网络
深度卷积生成对抗网络（Deep Convolutional Generative Adversarial Networks，简称DC-GAN）是GANs的一个变种，由Alec Radford等人在2015年提出。DC-GAN最大的改进在于它使用了卷积神经网络（Convolutional Neural ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值