23、神经网络：原理、计算与反向传播

神经网络：原理、计算与反向传播

1. 神经网络概述

神经网络是一类数值分类器，与其他技术相比，它具有更灵活和可扩展的架构。通常，神经网络由多个层组成，每层包含一组节点，即神经元。输入层对应输入特征，每个特征由一个节点表示，输出层产生分类结果。

在实践中，构建和配置神经网络有许多方法。这里主要关注最简单的前馈架构，它由一系列层组成。在给定层中，每个节点接收前一层所有节点的信息，处理这些信息，并将其传递到下一层的所有节点。

2. 表示与符号

神经网络的结构最初受到大脑及其组成部分神经细胞的启发。该领域的文献常使用生物学词汇描述网络组件，神经元之间的连接称为突触，两个节点之间流动的信息（标量）会乘以一个称为突触权重的权重。

为了更方便地表示网络，使用以下矩阵和数学符号：
- 输入向量 ：用 $\mathbf{x}$ 表示一个观测的输入向量。
- 节点表示 ：用 $a_i^{(j)}$ 表示第 $j$ 层的第 $i$ 个节点。例如，在图中，第一个隐藏层由四个节点 $a_1^{(1)}, a_2^{(1)}, a_3^{(1)}, a_4^{(1)}$ 组成，隐藏层的节点形成向量 $\mathbf{a}^{(j)}$，如 $\mathbf{a}^{(1)}$。
- 权重向量 ：用 $\mathbf{w}_i^{(j)}$ 表示节点 $a_i^{(j)}$ 传入突触的权重向量。例如，$a_2^{(1)}$ 有三个传入连接，其权重由 $\mathbf{w}_2^{(1)}$ 表示。
-