qq_45730823的博客

传统的序列到序列问题是基于循环或卷积神经网络，而作者提出一种更简单的完全基于注意力机制的架构，在机器翻译取得了不错的成绩RNN，LSTM，GRN已经建立起了序列模型的坚实基础循环模型需要ht−1h_{t-1}ht−1​到hth_tht​状态连续变化，固有的顺序性限制了并行性注意力机制可以对序列的依赖关系进行建模而不考虑序列中的距离，大多数情况下，注意力机制和循环网络结合使用我们提出transformer，完全依赖注意力机制，允许更多的并行化。

口语理解系统SLU是口语对话系统中的一个重要部分。SLU包括下面两个任务子任务任务内容可以看作常用方法意图识别识别说话人的意图语义分类任务支持向量机，深度神经网络槽位填充从自然语言中提取语义成分序列标注任务最大熵隐马尔可夫模型，条件随机场，循环神经网络作者提出的联合模型简化了SLU系统，因为两个任务只需要一个模型进行训练和微调输入序列→编码密集向量→解码输出序列输入序列 \xrightarrow{编码} 密集向量 \xrightarrow {解码}输出序列输入序列。