从头开始GAN【论文】(一) —— GAN

忙了三个多月的秋招终于接近尾声，得开始看点学术类的东西了，没办法，要毕业啊。想来想去还是觉得有必要写个GAN 的专栏记录自己在GAN 方面的学习历程。一方面，可以通过总结的方式来加深自己的理解；另一方面，也可以及时给自己反馈，规划下一步的学习目标。

这个专栏的文章里基本上不会出现比较晦涩难懂的概念或者复杂的数学公式推理，更多的是我个人在学习GAN 过程中对它的一个理解、相关知识点的整理和从网上各处搜来的插图以及相关连接，想要深入研究某个概念或者方法的同学可以去相应的连接找。后面如果涉及到实验的话，也可能会有一些代码。这个想法倒是不错，就是不知道实施起来能做到什么程度了。

1. GAN 与左右互搏

近几年，深度学习在图像、语音、自然语言等领域大放异彩，得益于模仿人类大脑神经连接的结构模型。至于为啥效果这么好，谁知道呢，反正好用就行了。深度学习的模型分为生成式模型和判别式模型两方面，目前深度学习的主要成果都是集中在判别式模型。生成式模型需要观测现实世界的统计样本，学习其内在统计规律，由于需要大量的先验知识、建模复杂等方面，发展缓慢。

GAN 是在2014 年提出的一种生成式模型，其全称是生成式对抗网络。GAN 使用两个神经网络进行对抗性训练来让生成模型逐渐取得良好的表现，绕开了传统生成式网络的缺陷。其实GAN 的思想很简单，就像老还童被困在桃花岛地洞里创造出的那一套左右互搏术。左右手做出不同的动作，互相打架，GAN 中的两个网络就是这里的左右手，分别称为生成模型（G）和判别模型（D）。

2. 多层感知机

知道了GAN 的主要思想以后，接下来面临的一个问题就是它的生成模型和判别模型各自是什么结构。原始的GAN 的G 和D 都是多层感知机，所以这一部分的内容就来讲讲多层感知机，在讲这个之前首先要看一下感知机。

（1）感知机

感知机最早出现于20 世纪50 年代末，可视为最简单的前馈神经网络（可以简单的理解为数据从前往后走）。机器学习算法中最典型的一个应用场景就是分类问题，所以我们这里都以分类为例来介绍相关的模型和结构。从上图可以看到，通过将输入向量的每一位乘上不同的权重然后相加即可得到一个结果，然后我们根据这个结果对输入的