【NLP251】意图识别 与 Seq2Seq

Seq2Seq模型作为从RNN演进到Transformer和Attention机制的关键中间阶段，它不仅承前启后，还为我们深入理解这些复杂的模型架构提供了重要的基础。接下来，我们将详细探讨Seq2Seq模型的原理及其在自然语言处理领域中的应用。

1. 原理及网络框架

1.1 自编码神经网络

自编码器作为一种深度学习领域无监督的算法，本质上是一种 数据压缩 算法，属于生成算法的一种。自编码器(AutoEncoder，AE)就是一种利用反向传播 使得输出值等于输入 值 的神经网络，它将输入压缩成潜在特征/高阶特征，然后将这种表征重构输出。

构建一个自编码器主要包括两部分： 编码器(Encoder) 和 解码器(Decoder) 。编码器将输入压缩为潜在空间特征，解码器将潜在空间特征重构输出。

 

1.2 Seq2Seq