37、自动问题生成的神经注意力模型

自动问题生成的神经注意力模型

1. 研究背景与相关工作

在自动问题生成领域，此前已有不少研究成果。有的模型以先前编码器的嵌入作为基准，训练模型以最大化新旧编码器嵌入之间的相似度，不过该模型仅能生成事实性问题，且需要从上下文中获取答案，后续还需开展从上下文中生成答案标记的工作。

还有一些相关研究，比如周等人在神经问题生成（NQG）框架基础上进行研究，构建了NQG++，它与NQG系统类似，但在序列到序列架构中融入了一个特征丰富的编码器，同时使用了最大输出层和复制机制，在问题生成方面，该研究相比之前的NQG框架提高了BLEU分数。杜新雅等人则采用简单的序列到序列机制，并在模型中加入注意力机制，使模型更关注上下文中的相关词汇，从而提升性能，不过该模型并非对所有类型的问题都能生成最佳问题，仍有改进空间。王等人开发的模型使用了语言特征，将答案与上下文编码后作为网络输入，利用注意力机制和复制机制生成可读性较高的问题，该模型生成的问题质量优于之前的工作，但同样仅能生成事实性问题，对于更高级问题的生成还需进一步研究。

2. 任务定义

给定一段输入文本，需要生成一个与该输入文本相关且语法结构连贯的有意义问题。问题长度可以任意，具体长度选择将在实现细节部分详细说明。

3. 模型架构

• 整体模型 ：该模型部分受Sutskever等人的序列到序列模型启发，类似于人类解决阅读理解任务。为了将陈述句转换为疑问句，模型需要关注输入句子的某些部分以及句子所处的上下文。结合编码器 - 解码器架构和注意力机制，模型在解码生成单词时能够聚焦于输入句子的特定部分。模型有两个编码器，一个用于编码段落，另一个