3、二项反向传播网络学习机制中的权重变化

二项反向传播网络学习机制中的权重变化

1. 引言

在神经网络中，权重赋值对网络学习行为有着重大影响。若算法能成功计算出正确的权重值，网络就能更快地收敛到解；反之，收敛速度可能会变慢，甚至导致发散。为避免此类问题，梯度下降步骤由学习率这一参数控制，它决定了梯度在误差表面移动的步长。此外，为避免在陡峭山谷附近可能出现的振荡问题，会将上一次权重更新的一部分添加到当前权重更新中，并通过动量参数调整其大小。引入这些参数的目的是产生正确的权重更新值，随后用于更新新的权重。正确的权重更新值可从符号和大小两个方面体现。若这两个方面都能适当选择并赋给权重，学习过程就能得到优化，解也更容易找到。鉴于二项BP和自适应学习方法在网络学习中的实用性，本文将探讨在有和没有自适应学习方法的情况下，BP网络中权重符号随梯度下降的变化。

2. 相关工作

2.1 梯度下降技术

梯度下降技术旨在让网络更接近最小误差，但不能保证网络的收敛速度。它会生成一个沿着误差表面向下移动的斜率，以寻找最小点。在移动过程中，斜率在迭代过程中经过的点会影响权重更新值的大小和方向。更新后的权重用于每个时期的网络训练，直到达到预定义的迭代次数或达到最小误差。尽管BP在学习方面总体上取得了成功，但仍有一些主要缺陷需要解决。例如，由于激活函数的饱和行为，会存在临时局部极小值；存在局部极小值会导致收敛速度缓慢，且对于具有多个隐藏层的网络，收敛速度相对更慢。

2.2 误差函数的作用

误差函数在二项BP算法的学习过程中起着至关重要的作用。它不仅能计算训练中的实际误差，还能通过计算其梯度并将其反向传播到网络中进行权重调整和误差最小化，帮助算法到达解收敛的最小点。这样可以避免陷入局