12、神经网络构建与语言分类实战

神经网络构建与语言分类实战

1. 输出层与训练算法

输出层与输入层类似，但其中包含神经元。数据从模型中输出的地方就是输出层，这里的数据要么是对称的，要么是标准的。输出层决定了输出的神经元数量，这取决于我们所建模的内容。例如，对于判断交通信号灯是红色、绿色还是黄色的函数，就会有三个输出（每种颜色对应一个），每个输出都包含我们想要的近似值。

神经元的权重来自训练算法，常见的训练算法有：
- 反向传播（Back propagation）
- 快速传播（QuickProp）
- 弹性传播（RProp）

这些算法都通过迭代（也称为轮次，epochs）来为每个神经元找到最优权重。在每个轮次中，训练算法会遍历整个神经网络，并将其与预期结果进行比较，从过去的错误计算中学习。它们的共同目标是在凸误差表面中找到最优解，这类似于在山谷中寻找最低点的梯度下降算法。

1.1 增量规则（Delta Rule）

与其求解大量方程，迭代计算会更快。增量规则不计算误差函数相对于权重的导数，而是计算每个神经元权重的变化，公式如下：
[
\Delta w_{ji} = \alpha (t_j - \phi(h_j)) \phi’(h_j) x_i
]
这表示神经元 $j$ 的第 $i$ 个权重的变化为：学习率 $\alpha$ 乘以（预期值 - 计算值）乘以计算值的导数乘以第 $i$ 处的输入。这个规则是反向传播算法的基础。

1.2 反向传播（Back Propagati