10、循环神经网络：从基础到应用

循环神经网络：从基础到应用

1. 引言

循环神经网络（Recurrent Neural Networks, RNNs）是一种高级模型，它允许神经元之间的反馈连接。这种特性使得RNN能够在处理序列数据时保持状态信息，从而更好地捕捉时间依赖性和上下文关系。与多层感知器（MLP）不同，MLP中的层间连接是前馈式的，而RNN中的神经元可以有反馈连接，即先前的输出值可以作为当前输入的一部分。本章将详细介绍RNN的基本概念、架构及其在实际分类任务中的应用。

2. RNN的基本概念

2.1 反馈连接

反馈连接是RNN的核心特性。在传统的前馈神经网络中，信息仅沿单一方向流动，从输入层到输出层。但在RNN中，信息可以在同一层或不同层之间来回流动。这种反馈机制使得RNN能够记住过去的信息，从而在处理时间序列数据时表现出色。

2.2 循环架构

RNN的循环架构使得它特别适合处理序列数据。每个时间步的输出不仅取决于当前的输入，还取决于之前的时间步的状态。这种架构可以用下图表示：

graph LR;
    t1((t-1)) -->|h_{t-1}| t2((t));
    t2 -->|h_t| t3((t+1));
    t2 -->|y_t| Output;
    Input -->|x_t| t2;

在这个图中， h_t 表示隐藏状态， x_t 表示输入， y_t 表示输出。隐藏状态 <