39、深度卷积神经网络图像分类

深度卷积神经网络图像分类

一、卷积神经网络概述

卷积神经网络（CNNs）通常由多个卷积层、下采样层（池化层）和最后的全连接层组成。用卷积层替代传统的全连接多层感知机（MLP），能显著减少网络中的权重（参数）数量，并提升捕捉显著特征的能力。在处理图像数据时，相邻像素通常比远距离像素更相关。

池化层（下采样层）没有可学习的参数，如权重或偏置单元；而卷积层和全连接层都有在训练中优化的权重和偏置。

二、离散卷积操作

2.1 一维离散卷积

离散卷积是CNN中的基本操作。对于两个向量 $\mathbf{x}$ 和 $\mathbf{w}$，离散卷积表示为 $\mathbf{y} = \mathbf{x} * \mathbf{w}$，其中 $\mathbf{x}$ 是输入（信号），$\mathbf{w}$ 是滤波器或内核。其数学定义为：
$\mathbf{y} = \mathbf{x} * \mathbf{w} \to y[i] = \sum_{k = -\infty}^{+\infty} x[i - k] w[k]$

这里会遇到两个问题：一是求和索引从 $-\infty$ 到 $+\infty$，但机器学习中处理的是有限特征向量，所以需要零填充（padding）；二是 $x$ 的负索引问题。

假设原始输入 $\mathbf{x}$ 有 $n$ 个元素，滤波器 $\mathbf{w}$ 有 $m$ 个元素（$m \leq n$），填充后的向量 $\mathbf{x} p$ 大小为 $n + 2p$，实际计算离散卷积的公式变为：
$\mathbf{y} = \mathbf{x}