12、多层神经网络伪逆学习算法综述及应用

多层神经网络伪逆学习算法综述及应用

1. 引言

多层感知器（MLP）是一种前馈神经网络，上世纪八十年代中期开始被广泛研究。如今，具有三个以上隐藏层的MLP被称为深度神经网络，它在各种监督学习任务中取得了成功。理论和实证研究均表明，该网络具备强大的模式分类和通用逼近能力。

当隐藏层较少时，网络的权重参数可以通过梯度下降学习算法（即著名的误差反向传播BP算法）进行学习。然而，随着网络深度的增加，BP算法的缺点愈发明显，主要体现在以下两个方面：
- 收敛速度慢和局部极小值问题 ：收敛到局部极小值可能是由于隐藏神经元数量不足和初始权重设置不当导致的。
- 超参数选择困难 ：如学习率、动量常数等超参数的选择缺乏理论指导，主要依赖丰富的经验，因此超参数的选择对BP算法的成功至关重要。

为了解决这些问题，研究人员提出了伪逆学习（PIL）算法。与BP算法不同，PIL算法是一种非梯度下降算法，它可以精确计算网络的权重，而无需进行迭代优化。该算法仅采用广义线性代数方法，并且无需显式设置通常通过经验指定的控制参数。经过二十多年的发展，PIL算法在许多领域得到了应用和发展。

2. 学习算法

2.1 PIL算法的提出

BP算法作为一种梯度下降算法，存在收敛速度慢和局部极小值等缺点，因此开发非梯度下降算法具有重要意义。1995年，Guo等人提出了PIL算法来训练单隐藏层神经网络（SHLN）。该算法是非梯度下降算法，无需设置超参数。其采用的平方误差和函数可表示为：
[
\min E = \min \left\lVert H \c