论文解读：Dynamic Fusion Network for Multi-Domain End-to-end Task-Oriented Dialog

论文解读：Dynamic Fusion Network for Multi-Domain End-to-end Task-Oriented Dialog
作者：Libo Qin, Xiao Xu, Wanxiang Che, Yue Zhang, Ting Liu

点击论文下载地址
文章源码下载地址

摘要

最近的研究表明，在端到端的面向任务的对话系统中取得了巨大的成功。但是，大多数神经模型都依赖于大型训练数据，这些数据仅可用于一定数量的任务域，例如导航和调度。这使得很难为具有有限标签数据的新域进行扩展。但是，关于如何有效地使用来自所有域的数据来改善每个域以及未看见域的性能的研究相对较少。为此，我们研究了可以显式使用领域知识并引入共享-专用网络以学习共享和特定知识的方法。此外，我们提出了一种新颖的动态融合网络（DF-Net），该网络可自动利用目标域与每个域之间的相关性。结果表明，我们的模型在多域对话方面的表现优于现有方法，为文献提供了最新技术。此外，在训练数据很少的情况下，我们的性能比以前的最佳模型平均低13.9％。

1 介绍

面向任务的对话系统帮助用户实现特定目标，例如餐厅预订或导航查询。 近年来，文献中的端到端方法通常采用序列到序列（Seq2Seq）模型来产生对话历史记录的响应。 以图1中的对话框为例，为了回答驾驶员关于“加油站”的查询，端到端的对话系统根据查询和相应的知识库（KB）直接生成系统响应。

尽管端到端模型实现了令人鼓舞的性能，但它们依赖于大量标记数据，这限制了它们对新域和扩展域的有用性。实际上，我们无法为每个新域收集丰富的数据集。因此，重要的是考虑能够有效地将知识从具有足够标记数据的源域转移到具有有限标记数据或很少标记数据的目标域的方法。
现有工作可以分为两个主要类别。如图2（a）所示，第一部分工作简单地组合了多域数据集为了训练。此类方法可以隐式提取共享功能，但无法有效捕获特定领域的知识。如图2（b）所示，第二部分工作分别为每个域训练模型，可以更好地捕获特定域的特征。但是，这些方法会忽略不同域之间的共享知识（例如，位置字同时存在于计划域和导航域中）。
我们考虑通过显式地建模领域之间的知识联系来解决现有工作的局限性。尤其是，合并域共享和域私有功能的简单基准是共享私有框架。如图2（c）所示，它包括一个用于捕获域共享功能的共享模块和一个用于每个域的私有模块。该方法明确区分了共享知识和私有知识。但是，该框架仍然存在两个问题：（1）给定一个新的领域，其数据极少，私有模块可能无法有效地提取相应的领域知识。 （2）框架忽略了某些领域子集的细粒度相关性。 （例如，时间表域与导航的相关性要比天气域的相关性大。）

为了解决上述问题，我们进一步提出了一种新颖的动态融合网络（DF-Net），如图2（d）所示。与共享－私有模型相反，进一步引入了动态融合模块（请参见第2.3节）以明确捕获域之间的关联。特别是，利用门来自动找到当前输入与所有特定领域模型之间的相关性，以便可以为每个域分配权重以提取知识。编码器和解码器都采用了这种机制，并且存储器模块也采用了这种机制来查询知识库特征。给定一个几乎没有训练数据或没有训练数据的新域，我们的模型仍可以充分利用现有域，而基线模型是无法实现的。
我们对两个公开基准进行了实验，即SMD和Multi-WOZ 2.1。 结果表明，我们的框架始终显着优于当前的最新方法。 由于培训数据有限，我们的框架平均比以前的最佳方法要高13.9％。 据我们所知，这是在多域端到端任务导向对话中有效探索共享-私有框架的第一项工作。 另外，当给定一个新的域时，它的镜头数据很少或为零，我们扩展的动态融合框架可以利用细粒度的知识来获得所需的精度，从而使其更适合于新域。

2 模型架构

我们基于seq2seq对话生成模型（第2.1节）构建模型，如图3（a）所示。 为了明确集成域意识，如图3（b）所示，我们首先建议使用共享私有框架（第2.2节）来学习共享和相应的特定于域的功能。 接下来，我们进一步使用动态融合网络（第2.3节）来动态利用所有域之间的相关性以进行细粒度的知识转移，如图3（c）