四、自然语言处理_02RNN基础知识笔记

1、RNN的定义

RNN（Recurrent Neural Network，循环神经网络）是一种专门用于处理序列数据的神经网络架构，它与传统的前馈神经网络（Feedforward Neural Network）不同，主要区别在于它能够处理输入数据之间的时间依赖性，这使得它特别适合于处理时间序列数据、自然语言文本、语音信号等类型的数据

2、RNN的工作原理与结构

2.1 工作原理

RNN通过在网络中引入循环结构来处理序列数据，使得网络能够在处理当前输入时考虑到之前的所有输入，这种结构允许信息在网络中持续存在，从而实现对序列数据的动态特征抽取

• 循环结构：网络中的循环允许信息在时间步之间传递（通过循环的方式来抽取时序信号的特征）
• 逐个处理：序列中的每个元素都被逐一处理，但每个元素的处理都依赖于前一个元素的处理结果
• 前后依赖：当前的输出不仅依赖于当前的输入，还依赖于之前所有输入的累积效应（前面的处理会影响后面的处理）
• 中间隐藏状态：RNN通过隐藏状态来存储和传递之前输入的信息，从而实现对序列的长期依赖关系的捕捉

2.2 工作结构

2.3.1 结构图

上图是RNN的工作结构示意图，包含X、A、h三个主要的模块，其简洁地展示了RNN如何通过循环结构处理序列数据，以及如何通过隐藏状态在时间步之间传递信息：

• 循环结构：图中显示了RNN的核心特性——循环，每个方框 A 代表网络中的一个重复模块（其实也就是权重矩阵），这个模块在每个时间步都会接收新的输入并产生输出

• 时间步：图中的 X0​,X1​,X2​,…,Xt​ 表示输入序列在