【机器学习入门】人工神经网络（二）卷积和池化

系列文章目录

第1章 专家系统
第2章 决策树
第3章 神经元和感知机
识别手写数字——感知机
第4章 线性回归
第5章 逻辑斯蒂回归和分类
第5章 支持向量机
第6章 人工神经网络(一)

---

---

前言

李飞飞等人在2006年发起并建立了ImageNet数据集，这是一个包含上千万张图片、数千不同类别物体的数据集，处理计算机视觉任务的深度神经网络通常在则会个数据集上进行训练。Geoffrey Everest Hinton等人的AlexNet 是最早广为人知的深度神经网络模型之一。
这里重点介绍LENET、AlexNet的卷积和池化的思想。

---

一、卷积

神经连接的局部性

AlexNet神经网络模型由8层构成，其中，前5层是卷积层，只有后面3层是全连接层。全连接层是前馈神经网络最为一般的形式，神经元在层与层之间建立完全连接，即一层中的每个神经元都以前一层所有神经元的输出作为输入。
当处理图像等高维信息的时候，全连接层需要很多权值，因为神经元要与每个像点连接。这不利于神经元提取图像的局部信息，而提取图像局部特征是深度神经网络前几层的主要任务。最初几层神经元应该聚焦图像的局部特征，逐渐扩大单个神经元知的图像范围，逐层提高信息抽象的程度，这样，最终就可以在输出层整合整幅图像，每到一个用于图像分类或者物体检测的输出值。卷积层的出现满足了这种需求，它将神元的连接限制在局部，每个神经元只与对应位置的矩形区域内的输入神经元进行连接比如，当计算3×3的卷积时，卷积层的每个神经元仅与前一层对应位置局部的3x个神经元发生连接。

什么叫作卷积？

平移不变性

除了局部性之外，卷积层的另外一个特征是平移不变性。图像特征本身具有平移不变性，局部特征的位置不是特征本身的内在属性。比如，无论一只猫出现在图像中的任何位置，都不影响我们认知它是一只猫。
为了实现平移不变性，卷积层中不同位置的神经元共享同一组连接权值，这组连接权值称作卷积核。比如，3×3的卷积核是一个3×3的矩阵。图像卷积操作就是用一个卷积核在图像上进行平移扫描，计算局部图像块与卷积核的“点积”，即对应位置元素乘积的和。
向量点积与向量间的余弦距离是成正比的，反映了向量之间的相似程度。图像卷积操作的结果实际上也反映了图像局部与卷积核的相似程度，与卷积核相似的局部特征就这样被提取出来。为了提取出不同的局部特征，在神经网络模型中，每个卷积层通常包含若干个不同的卷积核，每个卷积核扫描输入图像产生一个二维矩阵作为输出，不同卷积核产生的二维矩阵堆叠在一起，形成一个三维张量(tensor)，构成了整个卷积层的输出，张量的每一层叫作一个通道(channel)。

卷积是一种常用的信号处理方法，图像的卷积操作是二维卷积运算的离散形式。一维卷积的连续形式在泛函分析中定义为两个函数的运算。一个函数f是待处理的信号(比如声波、图像等)，一个函数g是卷积核，卷积(f*g)是一个新的信号(也是一个函数)。**卷积的结果相当于把函数g平移到各处，然后计算与函数f对应位置乘积的积分。**卷积运算能够在输入信号上提取出与卷积核具有高度相关性的信号。
$$(f\ast g)(t)={\int }_{-\infty }^{}$$