序列模型：循环神经网络（RNN）+长短时记忆神经网络（LSTM）

一.传统的神经网络与循环神经网络处理文本序列的区别

1.传统神经网络处理文本序列

（1）在不同的例子中，输入长度Tx和输出长度Ty可能不一样，因此可能用的padding或零填充，但是效果不是很好。

（2）传统的神经网络，并不能共享从文本的不同位置上学到的特征。

2.循环神经网络处理文本序列

        循环神经网络（RNN）对于自然语言处理和其他序列任务非常有效，因为它们具有“记忆”功能。 它们可以一次读取一个输入(如单词），并且通过隐藏层激活从一个时间步传递到下一个时间步来记住一些信息/上下文，这允许单向RNN从过去获取信息来处理后面的输入，双向RNN可以从过去和未来中获取上下文。

二、循环神经网络（RNN）

1.符号说明

• 上标[l]表示第l层。如， 表示。
• 上标（i）表示第 i 个样本。如，表示第i个输入样本。
• 上标< t >表示第 t 个时间步。如，表示输入x的第t个时间步，表示输入第i个样本的第t个时间步。
• 下标 i 表示向量的第 i 项。如，表示l层中的第i个项的激活值。