本文为系列博客,完成问答系统中的QG(Question Generation)模块,具体的博客列表如下:
- 博客1:基本策略
- 博客2:评价指标、初步探索
- 博客3:训练数据和预测数据预处理的部分
- 博客4:模型的构建
- 博客5:生成“问答对”
- 博客6:问答对有效性过滤(基于文本分类任务)
- 博客7:用问题库检索服务
一、问题生成(QG)模块的提出
1.1 问答系统的分类:
- 问答系统又叫QA系统,它的实现主要分为两大类:
-
- “基于知识库的问答系统”;
-
- “基于文本的问答系统”
其中,“知识库”的构建十分困难,而“基于文本的问答系统”则不需要构建知识库的复杂过程。我们将以“基于文本的问答系统”作为本次项目的切入点。
- “基于文本的问答系统”
1.2 基于文本的问答系统的基本策略
- 我们专注于“基于文本的问答系统”。它又有两种基本解决策略:
- 最基础的策略是基于信息检索的策略,它通过类似搜索引擎的检索策略,找出大篇文档中的Top K相关片段,然后通过摘要抽取出问题的答案。
- 另一种策略是使用深度学习的方法,这种策略采用了最新的神经网络架构,通常实现比较复杂,但是性能表现较好。
1.3 系统的模块与我的聚焦点
- 我们将采取前一种也就是“基于信息检索的策略”。在这种策略下,QA系统的组成部分可以分为下面四个:
- 1.信息检索模块;
- 2.交互与预处理模块;
- 3.问题回答模块(QA);
- 4.问题生成模块(QG)
- 上述的前三部分都在其他文章中有所阐述,在我的文章中,我将聚焦QG模块,来讨论基于文本的问题生成。

最低0.47元/天 解锁文章
1万+

被折叠的 条评论
为什么被折叠?



