16、Elman循环神经网络应用案例研究

Elman循环神经网络应用案例研究

1. 引言

人工神经网络（ANNs）是一种计算建模工具，近年来在许多学科中广泛用于解决复杂的现实问题。ANNs具有非线性、抗噪声、高并行性、学习适应性和泛化能力等优点，可用于模式分类、时间序列预测等任务。

前馈神经网络是一种基本的神经网络类型，如多层感知器神经网络（MLPNN），但它在处理时间模式方面存在局限性。而循环神经网络（RNNs）具有记忆功能，能够编码过去的历史信息，可执行高度非线性的动态映射，有更广泛的时间应用。部分循环网络是RNNs的一种，其连接主要是前馈的，但包含精心选择的反馈连接，Elman RNN就是这样的网络。

2. Elman循环神经网络架构

Elman RNN原则上是一个常规的前馈网络，但有一个特殊的上下文层。上下文层神经元保存隐藏层神经元输出的副本，该值作为额外输入信号用于下一个时间步的隐藏层神经元，使网络具有一个时间滞后的显式记忆。

神经元之间的连接强度用权重表示，初始权重随机选择，并在训练阶段进行优化。在Elman网络中，从隐藏层到上下文层的权重固定为1，上下文神经元的初始输出权重为网络中其他神经元输出范围的一半。

Elman网络可以使用梯度下降反向传播和优化方法进行训练，但反向传播存在一些问题，如可能陷入局部最小值，训练时间长等。因此，提出了许多改进反向传播收敛性的方法，如Levenberg - Marquardt算法。

2.1 Levenberg - Marquardt算法

Levenberg - Marquardt算法是基于最大邻域思想的最小二乘估计算法。目标误差函数 (E(w)) 由 (m) 个个体误