1、基于随机正交投影的增强双向极限学习机算法

基于随机正交投影的增强双向极限学习机算法

1. 引言

传统单隐藏层前馈神经网络（SLFN）的训练机制是，随机分配输入权重和隐藏偏置的初始值，然后使用梯度下降等方法进行迭代调整，直到残差误差达到预期值。这种方法存在收敛速度慢和局部极小值问题等明显缺点。

与之不同，随机权重神经网络（NNRW）以非迭代方式训练模型。在NNRW中，输入权重和隐藏偏置从给定范围随机生成，并在整个训练过程中保持固定，而输出权重通过求解矩阵方程的线性系统得到。与传统SLFN相比，NNRW可以更快地学习，并且具有可接受的准确性。

极限学习机（ELM）是一种典型的NNRW，由Huang等人在2004年提出。ELM继承了NNRW的优点，并将其扩展为统一形式。近年来，许多基于ELM的算法被提出并应用于各个领域，但仍有一些重要问题，如隐藏节点数量的确定，尚未得到彻底解决。

确定隐藏节点数量的算法可分为增量和剪枝策略两类。增量策略从一个小的初始网络开始，逐渐添加新的隐藏节点，直到达到所需的准确性，如I - ELM、EI - ELM、B - ELM、EB - ELM等；剪枝策略则从一个比必要网络更大的网络开始，然后去除冗余或效果较差的隐藏节点，如P - ELM、OP - ELM等。

本文主要关注优化现有的B - ELM算法。B - ELM将学习过程分为奇数和偶数学习步骤。在奇数学习步骤中，新的隐藏节点随机生成；在偶数学习步骤中，新的隐藏节点由前一个添加节点的参数通过公式确定。与完全随机的增量算法相比，B - ELM显示出更快的收敛速度。然而，奇数学习步骤中生成的隐藏节点质量无法保证，可能导致网络复杂度急剧上升。

为了解决这个问题，本文提出了一种基于随机正交投影的增