26、多层感知机与循环神经网络：原理、学习过程与应用

多层感知机与循环神经网络：原理、学习过程与应用

多层感知机（MLP）的权重更新规则

多层感知机在深度学习领域有着重要地位，其权重更新规则是学习过程的关键。权重更新公式如下：
- (w_{ji}^1 \leftarrow w_{ji}^1 - \eta \frac{\partial L}{\partial w_{ji}^1})（式9.37）
这里的权重更新依赖于学习率(\eta)和损失函数(L)对权重的偏导数。

若隐藏层和输出层都采用Sigmoid函数，根据链式法则，权重(w_{ji}^1)的更新规则为：
- (w_{ji}^1 \leftarrow w_{ji}^1 - \eta \sum_{k=1}^{m} x_{j} h_{i} (1 - h_{i}) w_{ik}^2 \hat{y} {k} (1 - \hat{y} {k}) (y_{k} - \hat{y}_{k}))（式9.38）

若两层都采用线性函数，权重更新规则简化为：
- (w_{ji}^1 \leftarrow w_{ji}^1 - \eta \sum_{k=1}^{m} x_{j} w_{ik}^2 (y_{k} - \hat{y}_{k}))（式9.39）

输入层与隐藏层之间的权重更新，取决于隐藏层与输出层之间的权重，以及目标输出和计算输出之间的差异。在更新输入节点与隐藏节点之间的权重时，需要考虑从隐藏节点到所有输出节点的连接权重，并运用链式法则对损失函数求导。

MLP的学习过程

MLP的学习过程包括前向传播计算输出向量，以及反向传播更新权重。具体步骤如下：
1.