Facico的博客

SeqGAN对于NLP用GAN最主要是要解决一个离散值梯度的问题，就比如字典空间的编号是[0,1,2,3]，你新生成的句子是[1.1,2,3]这样就没有什么意义。在离散的数据里面GAN是不work的既然梯度不好计算就容易想到RL中的Policy Gradient，然后这里作者就用了RL不过有个问题，RL对于一个句子好坏的评判只能对于整个句子的得到reward而不能对于部分句子，不能像普通的RNN那样对于一个及时的输出来评判解决的方法也很简单，我们在句子长度还不到T的时候，用蒙特卡洛树搜索来补全

WGANWasserstein GANWGAN就对原始的GAN画龙点睛了一下判别器最后一层去掉了sigmoid(分类变成了回归)生成器和判别器的loss不用log(实质上是改变了loss的函数)每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定的参数c不要用基于动量的优化方法（Adam之类的），推荐RMSProp，SGD也可以原始虽然改动很简单，但是却有很大的改善解决了GAN训练不稳定的问题，不需要小心的平衡生成器和判别器的训练程度基本解决了col

ResNet学习起因我们在很深的神经网络之后，效果会变差！所以深一点的网络并不一定比浅得好因为到了后期，网络自动变成了恒等映射，导致最后梯度几乎没有变化，学不出东西但是对于深度的网络，浅层的解空间应该是深层的子集，然后事实却不一样，因为网络的degradation问题(网络退化)随着层数的增多，连乘变得很不稳定解决所以我们要构造不是恒等映射的东西我们采用highway的那种方式，引入恒等快捷连接映射完之后是F(x)+xF(x)+xF(x)+x，所以F(x)F(x)F(

深度学习的各种优化方法优化方法就是一种能够帮助我们最小化或最大化目标函数(损失函数)的一类方法一个好的优化方法往往能更加高效。更加精确的训练模型的内参优化算法的种类1、一阶优化方法：常用2、二阶优化方法：计算量大，不常用各种梯度下降法1、Gradient Descent梯度下降法是很多其他方法的基础θ=θ−ηΔJ(θ)\theta=\theta-\eta\Delta J(\theta)θ=θ−ηΔJ(θ)J(θ)J(\theta)J(θ)是整个数据集上进行计算得到的由于算

神经网络思想来源神经网络的思想来源于模拟人脑的神经系统的运作，即"神经网络是有具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应"神经元总所周知，神经系统的组成单位是神经元。那么要模拟出神经网络，肯定是要有神经元成分的。M-P神经元模型这个模型中，一个神经元被其他n个神经元连接，并传递信号xix_ixi​过来，且每条信息通道上都有权值wiw_iwi​，当前这个神经元也有阈值bbb。所有的数据在当前这个神经元上通过求和与激活函数fff整合，

对抗自编码器(AAE)自编码器转换成生成模型通过两个目标训练：传统的重构误差函数和对抗训练函数—>将AE隐藏层向量表示的聚合后验分布与任意先验分布匹配。训练准则和VAE很像1、编码器学到将数据分布转换成该先验分布2、解码器学到一个模型，可以将强加的先验映射到数据分布上聚合后验分布与VAE不同的是，AAE采用的是聚合后验分布q(z)=∫xq(z∣x)pd(x)dx(q(z∣x)：编码分布;p(x∣z):解码分布；pd(x)数据分布;p(x)数据模型分布;q(z):z的聚

VAE(变分自编码器)论文《Auto-Encoding Variational Bayes》Variational Auto-Encoder我们平常的编码器可以对数据进行压缩，降噪之类的一些处理，但是实际上不能来生成任意数据。而VAE就可以，它可以直接通过模型生成隐变量z，并且z是及含有数据信息又含有噪声的，所以可以无穷无尽的生成数据[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传这是一个重要的生成模型(功能和GAN相似)，不过VAE采用的是概率的思想(我们知道密

自编码器自编码器能够通过无监督学习，学到输入数据的高效表示，这一高效表示被称为编码何为高效的数据表示如下列两组数据40, 27, 25, 36, 81, 57, 10, 73, 19, 6850, 25, 76, 38, 19, 58, 29, 88, 44, 22, 11, 34, 17, 52, 26, 13, 40, 20如果你觉得因为第一组数据短而好记，那么就错了，我们可以发现第二组数组的偶数后面是1/2，奇数后面是3倍+1(角谷猜想)所以显然第二行的东西更容易记忆自编码

Densely Connected Convolutional Networks如果在接近输入层和接近输出层之间有更短的连接(如1->n)，则卷积神经网络会更深入，更准确，更有效。稠密卷及神经网络：每一层之间都有连接(L(L−1)2\frac{L(L-1)}{2}2L(L−1)​，由此密集的连接方式而得名)，连接都以前馈的方式连接（对于每一层，前面所有层的特征图作为输入，它自己的特征图作为后面所有层的输入）优点：缓解了梯度消失增强了特征的传播鼓励特征的重利用大大的减少了参数

CNN发展史早期铺垫神经网络起源Hubel和Wiesel对猫大脑中的视觉系统的研究。各种结构的铺垫1980年，日本科学家福岛邦彦《Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position》提出了一个包含卷积层、池化层的神经网络结构。LeNetLeNet几乎是所有CNN的开端作者：Yan

Batch Normalization: Accelerating Deep Network Training byReducing Internal Covariate Shift文章试图解决的问题内部协变量转移(internal covariate shift)：在训练进行时，网络中的参数不断改变，导致每一层的输入分配会进行变化，这个现象被称作内部协变量转移由于分布变化，所以需要更小的学习率，小心的初始化。但导致训练速度降低，本文就是要解决这个问题内部协变量转移不符合IID(独立同分布)的假设