深度学习之CNN简介

本来想把CNN的一个kaggle比赛和这个放在一起，结果软件一直出问题。就先把这部分贴上。后面再奉上CNN实战的代码。

深度学习概述

传统的机器学习和深度学习一个很重要的差别就是特征的自动提取。深度学习现在更适合处理一些原始信息的特征，比如图片识别，音频，视频等。比如图片可以通过像素作为原始的特征，通过卷积神经网络不断的提取特征，最后再在这些特征上进行学习。对于音频就是通过声音的声波作为特征。 

本节主要是讲解图像识别案例，这里就稍微提一下。

CNN(卷积神经网络)

图像识别中采用卷积神经网络，这里大致的介绍下CNN的运行原理。在很久以前呢其实图像识别采用的是传统的方法，比如SVM。在12年的ImageNet大会中，来自多伦多大学的 Geoffrey Hinton、Ilya Sutskever 和 Alex Krizhevsky 提交了名为“AlexNet”的深度卷积神经网络算法，这种算法的图形识别错误率低至 16%，比第二名低超过 40%。可以这么说，人工智能在“看特定的图”这件事上第一次接近了人类。 

层级结构

一般的神经网络采用了全连接的方式，这样的话会导致参数量太大。Cnn以及rnn都修改了网络结构以使其能达到特定的功能。 

隐层的话其实可以是0~N多层，如果没有隐层，而激活函数又采用了逻辑函数，那么就成了逻辑回归模型了。这里只画了两层。 

数据输入层

数据输入层和全连接层一样的，就是第0层。一般来说图形图像处理前需要进行数据的预处理，比如图片的大小放缩到一致，主要有如下的处理方法： 

卷积计算层

这个应该是CNN的一个比较关键的地方了，首先看卷积运算，卷积是对两个实变函数的一种数学运算。这里不想讲的太复杂，比如  

Relu激活层

当通过卷积运算之后需要经过激活函数进行非线性变换。常的激活函数如下： 

池化层

由于图片的像素点很多，如果不进行压缩处理，那么会导致参数过多，就过拟合啦。所以需要将图片大小进行压缩。那咋个压缩呢？只能采用下采样啦。如下图所示：  

全连接层

经过了若干的卷积层，池化层，在输出层的前一层，加一个全连接层，用于最后的输出。  

正则化

在深度学习中，优化算法基本都是采用的SGD。正则化不是像传统的方式L1或者L2。而是通过一定的概率丢弃神经网络节点，这就被称为dropout  

典型结构

CNN常见的结构有：