深度学习

如何理解卷积？

• 卷积的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。对于线性时不变系统，如果知道该系统的单位响应，那么将单位响应和输入信号求卷积，就相当于把输入信号的各个时间点的单位响应加权叠加，就直接得到了输出信号。在信号与系统中，卷积就是计算线性时不变系统在信号激励下任意时刻的零状态响应；

• 卷积操作示意图见文末；

• 卷积操作的核心在于卷积核，关于卷积核的另一个名字称作滤波器，从信号处理的角度而言，滤波器是对信号做频率筛选，这里主要是空间-频域的转换，神经网络的训练就是找到最好的滤波器使得滤波后的信号更容易分类，还可以从模版匹配的角度看卷积，每个卷积核都可以看成一个特征模版，利用这个模板再通过卷积计算的定义就可以计算出一幅新的图像，新的图像会把这个卷积核所体现的特征突出显示出来。比如一个卷积核可以检测水平纹理，那卷积出来的图就是原图水平纹理的图像。

CNN最成功的应用是在CV，那为什么NLP和Speech的很多问题也可以用CNN解出来？为什么AlphaGo里也用了CNN？这几个不相关的问题的相似性在哪里？CNN通过什么手段抓住了这个共性？

• 以上几个不相关问题的相关性在于，都存在局部与整体的关系，由低层次的特征经过组合，组成高层次的特征，并且得到不同特征之间的空间相关性。如下图：低层次的直线／曲线等特征，组合成为不同的形状，最后得到汽车的表示。

权值可视化

• CNN抓住此共性的手段主要有四个：局部连接／权值共享／池化操作／多层次结构。

• 局部连接使网络可以提取数据的局部特征；权值共享大大降低了网络的训练难度，一个Filter只提取一个特征，在整个图片（或者语音／文本） 中进行卷积；池化操作与多层次结构一起，实现了数据的降维，将低层次的局部特征组合成为较高层次的特征，从而对整个图片进行表示。如下图：

局部特征

卷积操作示意图