2、基于分层联合建模的跨领域意图分类方法

基于分层联合建模的跨领域意图分类方法

1. 引言

在现实世界的对话系统中，跨领域意图分类问题至关重要，但由于缺乏公开可用的数据集，该问题的研究并不活跃。跨领域问题包括用户查询的意图不被对话系统支持，但查询在风格或主题上与范围内的查询相似，以及用户查询来自另一个数据集，与分布内的查询有很大不同。本文提出了一种基于领域和意图联合建模的跨领域意图分类新方法，并结合了从BERT模型进行分层表示微调，用于相关的领域和意图分类任务。

2. 相关工作

• 现有方法 ：不同研究提出了多种方法来解决跨领域意图分类问题。例如，有的引入了150意图数据集来评估意图分类系统的跨领域预测性能，并提出了基于BERT的方法，但这些方法在识别跨领域意图方面表现不佳；还有的引入了预训练语言模型ToD - BERT，在下游意图分类任务的准确性和跨领域召回率方面优于BERT；也有研究通过从另一个数据集形成分布外的示例来研究分布外问题，发现使用softmax分布概率进行分类在分布外检测中表现良好；还有采用局部离群因子等新颖性检测算法来检测未知意图。
• 本文创新 ：本文是首次将分层联合建模应用于跨领域领域和意图分类。分层多任务学习已被引入到语义任务（如命名实体识别、实体提及检测、共指消解和关系提取）以及句法和语义任务（如组块、依存句法分析、语义相关性和文本蕴含）中。

3. 分层联合建模

3.1 BERT - Joint模型架构

提出的分层联合模型名为BERT - Joint，其架构如下：
- 输入一个令牌序列到BERT编