9、循环神经网络的新型监督学习算法及离散时间域L2稳定性分析

循环神经网络的新型监督学习算法及离散时间域L2稳定性分析

1. 引言

在过去几十年里，循环神经网络（RNN）在多个学科领域引发了广泛的研究兴趣。其重要动力之一在于它具备对非线性动态系统时间行为进行建模的潜力。理论上，只要有足够的训练样本，RNN 就能以无限精度将任意输入序列映射到输出序列。从生物学角度看，与隐马尔可夫模型（HMM）、前馈网络和支持向量机（SVM）等自适应方法相比，RNN 更接近真实的神经模型。从实际应用角度出发，RNN 的动态逼近和自适应学习能力使其在众多应用场景中极具竞争力，实时信号处理便是其中的热门领域。

在实时信号处理应用中，收敛速度至关重要。传统的 RNN 训练算法，如时间反向传播（BPTT）和实时循环学习（RTRL），往往收敛速度较慢。若选择较大的学习率来加速权重更新，训练过程可能会变得不稳定。因此，开发具有可变或自适应学习系数的鲁棒学习算法，以在稳定性和快速收敛速度之间取得平衡，是十分必要的。

虽然线性自适应滤波器在这方面已有广泛研究，如著名的归一化最小均方（N - LMS）算法，但 RNN 的在线训练算法仍是一个有待解决的问题。由于 RNN 固有的反馈和分布式并行结构，在网络训练期间，权重调整会影响整个神经网络的状态变量。这使得获取梯度类型更新规则的误差导数变得困难，进而增加了训练底层动态分析的难度。

为解决这一问题，众多研究工作已经展开。本文提出了一种鲁棒自适应梯度下降（RAGD）训练算法，旨在提高 RNN 的训练速度。该算法的主要特点是采用了新颖的混合训练概念，通过三个自适应参数（混合自适应学习率、自适应死区学习率和归一化因子）在标准在线反向传播（BP）和归一化 RTRL（N - RTRL）算法之间切换训练模式。这些参数使 R