机器学习总结（十一）：深度学习算法（CNN,SAE,等）及常见问题总结

（1）CNN

层级结构：输入层->卷积层->激励层->卷积层->激励层。。。

数据输入层（数据预处理）：三种方法：去均值（即0均值化，CNN常用，训练集所有像素值减去均值，把输入数据各个维度中心化到0，测试集也减相同的均值）；归一化（幅度归一化到同样的范围）；PCA/白化（降维，白化是对数据每个特征轴上的幅度归一化）。

去均值的目的：（1）数据有过大的均值可能导致参数的梯度过大，在梯度回传时会有一些影响；（2）如果有后续的处理，可能要求数据0均值，比如PCA。

归一化的目的：为了让不同维度的数据具有相同的分布规模，方便操作，图像一般不需要。

白化的目的：相当于在零均值化和归一化操作之间插入一个旋转操作，将数据投影在主轴上。图像一般不需要，因为图像的信息本来就是依靠像素之间的相对差异来体现的。

参数初始化：随机初始化，给每个参数随机赋予一个接近0的值（不可0初始化）。

卷积计算层/CONV layer:参数共享机制。(跟过滤好像)；作用：提取特征，通过BP误差的传播，可以得到对于这个任务最好的卷积核。

激励层（把卷积层输出结果做非线性映射）：

Sigmoid，tanh，ReLU

Leaky ReLU:f(x)=max(0.01x,x)，Maxout。

池化层/Pooling layer：夹在连续的卷积层中间。作用：1.具有压缩数据和参数的量，减小过拟合的作用。包括Max pooling 和average pooling；2.引入不变性，包括平移、旋转、尺度不变性。