对话系统综述

对话系统:从NLU到答案生成
对话系统是自然语言处理的重要研究方向,通常包括自然语言理解、对话管理、知识库管理和答案生成四个模块。NLU涉及实体识别和用户意图分析,对话管理通过状态管理和策略管理处理上下文和消歧问题,答案生成则负责生成自然语言响应。常见问题接口处理固定回答,减轻对话系统负担。

1 引言

  在自然语言处理(Natural Language Processing)领域中,对话系统 (多轮次对话的问答系统) 是一个广受关注的研究分支。同时该领域也细分为垂直领域(只针对某一特定领域)以及开放领域。我们将大家相对熟悉的问答系统与对话系统做对比讨论来引出对话系统。

    问答系统与对话系统的区别对话系统没有必要再一轮的交互中就给出答案,可以有反问机制,从而引导用户按照系统更能接受的方式重新提出需求。这样在此之后用户往往能够更改那些对系统来说不是很规范的表达。(但由此带来了上下文语境问题,为我们的消歧工作带来了麻烦

2 模块构成

    标准的对话系统(传统的流水线式对话系统)一般由四部分构成,分别是自然语言理解、对话管理、知识库管理、答案生成。 

 具体来说, Input 作为一句自然语言,是来自用户的输入,在这里我们仅考虑一条纯文本的字符串。自然语言理解(NLU)作为对话系统开放的唯一输入接口,接受纯文本形式的自然语言,经过名词实体识别进行关键信息提取和用户意图分析之后输入到对话管理(DialogueManagement)中。其中,对话管理又分为状态管理和策略管理这两个子模块,自然语言理解的计算结果输出到状态管理中,后者依据当前状态以及当前语句的意图类型,对某些有歧义的句子进行消歧处理,最后将当前状态告知策略管理,计算出回答的逻辑形式,输出到答案生成 (AG)模块。答案生成是负责呈现给用户一句自然语言对话的映射模块,将策略管理计算得到的答案意图重新映射成答句,作为最终的输出结果 Output。  

2.1 自然语言理解(NLU)

 自然语言理解模块接受一句自然语言作为输入,首先进行名词实体识别(关键信息抽取),将原句中所有命中的名词实体提取出并替换成相应类别的标识字符串,之后将规范化后生成的句子进行用户意图分析。在本文中,一共有三种方法来进行这一步操作,分别是:  

• 基于规则的正则模板匹配
• 基于生成模板的模糊匹配

• 基于深度学习的方法(解决歧义问题)

    自然语言理解模块有两个关键性问题,一是关键信息抽取(实体识别任务)、二是用户意图识别。对于其一问题,我们可以采用基于字典树的方式,构建若干字典树来分别识别不同的名词实体,也可以基于CRF的实体识别,基于大量有标注的语料来识别不同的实体。对于后一个问题我们可以基于规则的人工定义模板来分析用户意图,也可以基于一定语料来生成模板,更可以基于大量语料的深度学习方法来分析用户意图。我们会再以后的文章中具体的来探讨这两个问题。

2.2 对话管理

 常见的对话系统多以维护一个有限状态自动机的方式来进行对话管理,在关键信息的管理上,很多系统采用了“填槽法”。(即考虑一个需求,系统会逐个将所需要的信息对用户进行主导性质的提问,直到填满所有必要的槽(slot))(用户提供了部分关键信息,系统会继续追问剩余信息,直到满足需求。但是只能满足简单的对话情境。)

2.21 对话状态管理

1.根据当前状态机状态、槽值映射表、逻辑形式三种输入,更新槽值映射表。

2.根据当前状态机状态、槽值映射表,跳转状态。

 常见的对话系统多以维护一个有限状态自动机的方式来进行对话管理,在关键信息的管理上,很多系统采用了“填槽法”,即考虑一个需求,系统会逐个将所需要的信息对用户进行主导性质的提问,直到填满所有必要的槽(slot)。

2.22 策略管理

 策略管理模块主要负责在接受用户的意图输入之后,状态管理模块消歧结束,系统该进行哪些操作以及如何回复用户的策略制定。

2.3 答案生成

 答案生成模块设置的目的是让系统能够输出自然语言,使得用户反过来也能理解系统,反馈给用户是否能满足用户的需求甚至是否理解正确用户的输入。

2.4 常见问题接口

 常见问题处理接口负责单独处理用户提出的那些无关业务的有固定回答的对话,事实上,这一部分的工作也可以在对话管理中单独进行处理,但是为了减少对话管理的系统负荷也考虑到状态跳转的清晰直观性,常常是将其单独分离出对话系统的结构框架。

参考文献

1. 对话系统相关技术研究与应用_丁孝基_

2. Chen H, Liu X, Yin D, et al. A Survey on Dialogue Systems: Recent Advances and New Frontiers[J]. Acm Sigkdd Explorations Newsletter, 2017, 19(2).

3.Jones C, Sullivan I, Bayer J C, et al. A Comprehensive Survey Of Managed Care Organization (Mco) Medication Adherence Intervention Programs[J]. Value in Health, 2015, 18(3):A108-A108.    

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值