HRED+VHRED+AWI模型介绍

这次会介绍三篇文章，因为原理比较相似，都是采用分层架构来解决多轮对话问题，三篇论文如下所示：

• Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models(HRED)
• A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues(VHRED)
• Attention with Intention for a Neural Network Conversation Model(AWI)

前面两篇出自Serban，文章思路和方法大体一致，后者在第一篇文章的基础上加入了变分编码机的思路，改善了模型的效果。而第三篇论文将Attention机制融合到分层seq2seq模型中，同样是引入了高层变量的方法。下面分别介绍三篇文章的具体细节：

HRED

模型的系统架构图如下所示：

简单来说就是使用分层的seq2seq模型构造多轮对话，Encoder RNN主要用于对输入句子进行编码，这里跟普通的seq2seq没有什么区别，并且把最后一个时刻的隐层向量认为是输入句子的编码向量，当做下一层RNN的输入向量。中间一层context RNN用来编码整个对话的状态、意图等对话层面的信息，而第一层RNN用来编码一句话的句子层面信息，中间层每个时刻输入的第一层输出的句子表示向量，这样context RNN的隐藏层向量就可以记住之前的对话信息，所以成为上下文向量。最后，将该编码了之前对话信息的向量作为decoder RNN的输入向量，使得在解码过程中除了使用回答句子本身信息还会结合对话上下文信息。这就是整体的架构，还有几个小的点需要注意一下：

• Encoder和Decoder RNN每个句子是一个RNN，而Context RN只有一个RNN；