深度学习入门知识梳理（四）：卷积神经网络（CNN）

前言

  在卷积神经网络（CNN）中，卷积层的输入输出数据称为特征图。对应的，卷积层的输入数据称为输入特征图，输出数据称为输出特征图。
  相较于全连接神经网络，卷积神经网络有两个比较大的特点：
  （1）卷积网络有至少一个卷积层，用来提取特征。
  （2）卷积网络的卷积层通过权值共享的方式进行工作，大大减少权值 的数量，使得在训练中在达到同样识别率的情况下收敛速度明显快于全连接网络。

1、卷积层

1.1、卷积运算

  参考文章链接：如何通俗易懂地解释卷积
  一维卷积的数学定义如下：
$$h(x)={\int }_{-\infty }^{+\infty }f(\alpha )g(x-\alpha )d\alpha =f(x)\ast g(x)\text{\hspace{1em}(1-1)}$$
  可以从信号处理角度理解(需要有信号处理基础)：f(x)为系统输入信号，g(x)为单位脉冲响应，h(x)为系统输出响应。其实质就是一个翻转、滑动、加权叠加的过程，非常生动形象。
  二维卷积的数学定义如下：
$$h(x,y)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(m,n)g(x-m,y-n)dmdn=f(x,y)\ast g(x,y)\text{\hspace{1em}(1-2)}$$
  二维离散卷积的数学定义如下：
h ( x , y ) = ∑ m = 0 M − 1 ∑ n = 0 N − 1 f ( m , n ) g ( x − m , y − n ) = f ( x , y ) ∗ g ( x , y ) (1-3) h(x,y)=\sum_{m=0}^{M-1