深度学习概述_摘录笔记

这篇仅是对看过的资料中要点进行的简单摘录，作为笔记，方便以后温习。个人刚接触深度学习，还比较菜，一些鄙陋的见解如果有不妥或错误之处，还请大家不吝赐教。

1~7的原博地址：http://blog.youkuaiyun.com/gdp5211314/article/details/25872987

8~11的原博地址：http://blog.youkuaiyun.com/zouxy09/article/details/8781543 和 http://blog.youkuaiyun.com/celerychen2009/article/details/8973218

1.大规模网络中的难题

神经网络中可以有多个隐含层：这样，在更高的隐含层里可以对其之前的隐含层构建新的抽象。而且像之前也提到的，这样可以更好的学习大规模网络。增加隐含层的层数通常会导致两个问题：

1、梯度消失：随着我们添加越来越多的隐含层，反向传播传递给较低层的信息会越来越少。实际上，由于信息向前反馈，不同层次间的梯度开始消失，对网络中权重的影响也会变小。

2、过度拟合：也许这是机器学习的核心难题。简要来说，过度拟合指的是对训练数据有着过于好的识别效果，这时导至模型非常复杂。这样的结果会导致对训练数据有非常好的识别较果，而对真实样本的识别效果非常差。

 

2. 自编码器就是一个典型的前馈神经网络，它的目标就是学习一种对数据集的压缩且分布式的表示方法（编码思想）。

 

3. 从概念上讲，神经网络的目的是要训练去“重新建立”输入数据，好像输入和目标输出数据是一样的。

 

4. 神经网络学习到的实际上并不是一个训练数据到标记的“映射”，而是去学习数据本身的内在结构和特征（也正是因为这，隐含层也被称作特征探测器(feature detector)）。通常隐含层中的神经元数目要比输入/输入层的少，这是为了使神经网络只去学习最重要的特征并实现特征的降维。

 

5. RBM由隐含层、可见层、偏置层组成。和前馈神经网络不同，可见层和隐含层之间的连接是无方向性（值可以从可见层-<隐含层或隐含层-<可见层任意传输）且全连接的（每一个当前层的神经元与下一层的每个神经元都有连接——如果允许任意层的任意神经元连接到任意层去，我们就得到了一个波尔兹曼机（非受限的））。

标准的RBM中，隐含和可见层的神经元都是二态的（即神经元的激活值只能是服从伯努利分布的0或1），不过也存在其它非线性的变种。

对比差异

单步对比差异算法原理：

1、正向过程：

输入样本 v 输入至输入层中。

v 通过一种与前馈网络相似的方法传播到隐含层中，隐含层的激活值为 h。

2、反向过程：

将 h 传回可见层得到 v’ （可见层和隐含层的连接是无方向的，可以这样传）。

再将 v’ 传到隐含层中，得到 h’。

3、权重更新：

其中 a 是学习速率， v, v’, h, h’ 和 w 都是向量。

算法的思想就是在正向过程中影响了网络的内部对于真实数据的表示。同时，反向过程中尝试通过这个被影响过的表示方法重建数据。主要目的是可以使生成的数据与原数据尽可能相似，这个差异影响了权重更新。

换句话说，这样的网络具有了感知对输入数据表示的程度的能力，而且尝试通过这个感知能力重建数据。如果重建出来的数据与原数据差异很大，那么进行调整并再次重建。

 

RBM和自编码器的差别究竟在哪里？

RBM用对比差异法进行训练，AE用反向传播法进行训练。

 

6. 栈式自编码器，这种网络由多个栈式结合的自编码器组成。预训练（一层一层地按照自编码解码去训练参数）结束后，这将网络里的权重值初始化至一个合适的位置。但是通过这个训练并没有得到一个输入数据到输出标记的映射。例如，一个网络的目标是被训练用来识别手写数字，经过这样的训练后还不能将最后的特征探测器的输出（即隐含层中最后的自编码器）对应到图片的标记上去。这样，一个通常的办法是在网络的最后一层后面再加一个或多个全连接层。整个网络可以被看作是一个多层的感知机，并使用反向传播的方法进行训练（这步也被称为微调）。

栈式自编码器，提供了一种有效的预训练方法来初始化网络的权重，这样你得到了一个可以用来训练的复杂、多层的感知机。

 

先一层一层进行预训练，然后加上一层训练样本输出值，对整个网络用BP来微调Fine-tuning。

 

7.深度置信网络，和自编码器一样，我也可以将波尔兹曼机进行栈式叠加来构建深度信度网络（DBN）。

 

多层自编码器（AutoEncoder, AE）叠加就是栈式自编码器（StackedAuto Encoder, SAE），多层玻尔兹曼机（BM）叠加就是深度置信网络（Deep Belief Network, DBN）。

8.卷积神经网络（Convolutional Neural Network, CNN）的核心思想是将：局部感受野（Local Receptive Fields）、权值共享（Shared Weights）（或者权值复制）以及下采样（Sub-sampling）这三种结构思想结合起来获得了某种程度的位移、尺度、形变不变性。

 

9. 卷积网络不是全连接的！回想一下BP神经网络。BP网络每一层节点是一个线性的一维排列状态，层与层的网络节点之间是全连接的。这样设想一下，如果BP网络中层与层之间的节点连接不再是全连接，而是局部连接的。这样，就是一种最简单的一维卷积网络。

 

10.局部感受野

上图左：全连接网络。如果我们有1000x1000像素的图像，有1百万个隐层神经元，每个隐层神经元都连接图像的每一个像素点，就有1000x1000x1000000=10^12个连接，也就是10^12个权值参数。

       上图右：局部连接网络，每一个节点与上层节点同位置附件10x10的窗口相连接，则1百万个隐层神经元就只有100w乘以100，即10^8个参数。其权值连接个数比原来减少了四个数量级。

      根据BP网络信号前向传递过程，我们可以很容易计算网络节点的输出。例如，对于上图中被标注为红色节点的净输入，就等于所有与红线相连接的上一层神经元节点值与红色线表示的权值之积的累加。这样的计算过程，很多书上称其为卷积。

 

11.权值共享

上图隐含层的每一个神经元都连接10x10个图像区域，也就是说每一个神经元存在10x10=100个连接权值参数。那如果我们每个神经元这100个参数是相同的，也就是说每个神经元用的是同一个卷积核去卷积图像，这样我们就只有100个参数。不管你隐层的神经元个数有多少，两层间的连接我只有100个参数，这就是权值共享。

就上面右边那幅图来说，权值共享，不是说，所有的红色线标注的连接权值相同。这一点，初学者容易产生误解。