7、循环神经网络：原理、模型与应用

循环神经网络：原理、模型与应用

1. 循环神经网络概述

在神经网络的领域中，多层感知器和径向基函数网络是非线性分层前馈网络的重要代表。而循环神经网络则是另一类具有独特结构的神经网络。时间在学习过程中起着关键作用，当通过全局反馈将时间因素融入神经网络的运行时，就形成了循环神经网络。全局反馈可以涵盖一个或多个隐藏神经元层，甚至整个网络。循环神经网络包含静态多层感知器或其部分，并充分利用了多层感知器的非线性映射能力。

2. 霍普菲尔德网络

2.1 网络结构

霍普菲尔德网络是由约翰·霍普菲尔德在1982年发明的一种循环人工神经网络。它由一组神经元和相应的单位时间延迟组成，形成一个多环反馈系统。反馈环的数量等于神经元的数量，且模型中基本不存在自反馈。每个神经元的输出通过单位时间延迟元件反馈到网络中的其他神经元。其结构示意图如下：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(Neuron 1):::process -->|Unit Time Delay| B(Neuron 2):::process
    B -->|Unit Time Delay| C(Neuron 3):::process
    C -->|Unit Time Delay| A

2.2 网络方程

描述网络操作的方程如下：
- (x(k) = p) （式5.1）
- (x(k + 1) = sa