33、基于预训练RoBERTa和CNN的混合神经网络RBERT - C用于中文用户意图分类

基于预训练RoBERTa和CNN的混合神经网络RBERT - C用于中文用户意图分类

1. 相关工作

用户意图分类是问答和对话系统中的一个子任务。早期的文本分类基于传统机器学习方法，利用手动提取的特征。但对于大量数据集或语义特征复杂的情况，这些方法的性能并不理想。近年来，深度学习方法凭借自动提取潜在语义特征的能力，在文本分类中得到广泛应用并取得显著成果。

为提高用户意图分类的准确性，过去几年提出了多种深度神经网络模型，如CNN、LSTM、基于CNN的注意力机制、分层注意力网络等。最近，意图分类和语义槽填充的联合学习成为一种流行方法，比相对独立的方法效果更好，例如基于CNN的三角CRF联合模型、利用递归神经网络进行联合语义话语分类和槽填充等。

在数据集方面，ATIS和Snips数据集在口语语言理解（SLU）任务中被广泛使用。不过，与英语数据集上的用户意图分类研究相比，针对其他语言数据集的研究相对较少。有研究探索了基于英语和法语的多语言转移能力用于意图分类，也有针对中文数据集ECDT的相关研究，如提出ST - UIC方法利用多种语义特征进行单句用户意图准确分类，以及提出集成双向GRU和胶囊网络的架构用于中文问题目标分类。

然而，这些使用分布式词向量的方法只能获得与上下文无关的嵌入，句子表示中缺乏上下文信息。预训练模型通过迁移学习，基于大规模无监督文本语料库获得上下文相关的语言表示，在英语自然语言理解任务中效果显著，但在中文任务中应用较少。本文尝试探索预训练模型在中文问题句子上的适用性，提出的模型利用中文预训练模型获得上下文相关的句子表示，并结合CNN提高中文用户意图分类的性能。

2. RBERT - C模型

提出了一种名