12、神经网络与深度学习：原理、训练及卷积网络应用

神经网络与深度学习：原理、训练及卷积网络应用

1. 图像分类任务与神经网络模型

在图像分类任务中，我们将图像作为输入 $x = [x_1, \ldots, x_p]^T$，每个输入变量 $x_j$ 对应图像中的一个像素。对于 $28×28$ 的图像，共有 $p = 28×28 = 784$ 个输入变量，我们将其展平为一个长向量。每个 $x_j$ 的值代表该像素的强度，取值范围在 $[0, 1]$ 之间，$x_j = 0$ 对应黑色像素，$x_j = 1$ 对应白色像素，介于 0 和 1 之间的值对应具有相应强度的灰色像素。输出是类别 $y_i \in {0, \ldots, 9}$，这意味着我们总共有 10 个类别来代表 10 个数字。

基于一组带有图像和标签的训练数据 ${x_i, y_i}_{i = 1}^n$，问题是找到一个适合的模型来计算类别概率 $p(y = m | x)$，其中 $m = 0, \ldots, 9$，即一张未见过的图像 $x$ 属于 $M = 10$ 个类别中每个类别的概率。

• 逻辑回归模型（单层神经网络） ：若使用带有 softmax 输出的逻辑回归来解决此问题，这等同于一个单层神经网络。该模型的参数为 $W^{(1)} \in \mathbb{R}^{784×10}$ 和 $b^{(1)} \in \mathbb{R}^{10}$，总共需要 $784×10 + 10 = 7850$ 个参数。
• 两层神经网络 ：若将模型扩展为具有 $U = 200$ 个隐藏单元的两层神经网络，则需要两组权重矩阵和偏移向量：$W^{(1)} \in \math