nlp---用户输入-＞知识库的查询语句

用户输入->知识库的查询语句

目录

• 一、引言
• 二、什么是问答系统？
  • 2.1 问答系统简介
  • 2.2 Query理解
    • 2.2.1 Query理解介绍
    • 2.2.2 意图识别
    • 2.2.3 槽值填充
• 三、任务实践
  • 四、 主体类 EntityExtractor 框架介绍
• 五、命名实体识别任务实践
  • 5.1 命名实体识别整体思路介绍
  • 5.2 结合代码介绍
    • 5.2.1 构建 AC Tree
    • 5.2.2 使用AC Tree进行问句过滤
    • 5.2.3 使用 相似度进行实体匹配
• 六、意图识别任务实践
  • 6.1 意图识别整体思路介绍
  • 6.2 意图识别整体思路介绍
    • 6.2.1 特征构建
    • 6.2.2 使用朴素贝叶斯进行文本分类
• 参考资料

一、引言

主要是将用户输入问答系统的自然语言转化成知识库的查询语句，因此本文将分成两部分。

• 第一部分所涉及的背景知识;
• 第二部分相应的代码和其注释

二、什么是问答系统？

2.1 问答系统简介

问答系统(Question Answering System，QA System)是用来回答人提出的自然语言问题的系统。根据划分标准不同，问答系统可以被分为各种不同的类型。

• 问答系统从知识领域划分：

  • 封闭领域：封闭领域系统专注于回答特定领域的问题，由于问题领域受限，系统有比较大的发挥空间，可以导入领域知识或将答案来源全部转换成结构性资料来有效提升系统的表现；
  • 开放领域：开放领域系统则希望不设限问题的内容范围，因此其难度也相对较大。

• 问答系统从实现方式划分：

  • 基于流水线（pipeline）实现：如下图 1 所示，基于流水线实现的问答系统有四大核心模块，分别由自然语言理解（NLU）、对话状态跟踪器（DST）、对话策略（DPL）和自然语言生成（NLG）依次串联构成的一条流水线，各模块可独立设计，模块间协作完成任务。
  • 基于端到端（end-to-end）实现：基于端到端实现的问答系统，主要是结合深度学习技术，通过海量数据训练，挖掘出从用户自然语言输入到系统自然语言输出的整体映射关系，而忽略中间过程的一种方法。但就目前工业界整体应用而言，工业界的问答系统目前大多采用的还是基于流水线实现的方式。

图 1 基于流水线（pipeline）实现

• 问答系统从答案来源划分：
  • 「知识库问答」。是目前的研究热点。知识库问答（knowledge base question answering, KB-QA）即给定自然语言问题，通过对问题进行语义理解和解析，进而利用知识库进行查询、推理得出答案。如下图 2 所示：
  • 「常问问题问答」；
  • 「新闻问答」；
  • 「网际网路问答」；

图 2 知识库问答

2.2 Query理解

2.2.1 Query理解介绍

Query理解 (QU，Query Understanding)，简单来说就是从词法、句法、语义三个层面对 Query 进行结构化解析。

• 搜索 Query 理解包含的模块主要有：
  • Query预处理
  • Query纠错
  • Query扩展
  • Query归一
  • 意图识别
  • 槽值填充
  • Term重要性分析；
  • …

由于本任务后面代码