论文阅读笔记：BERT for Joint Intent Classification and Slot Filling

0、简介

• 论文名字：BERT for Joint Intent Classification and Slot Filling
• 下载地址：https://arxiv.org/abs/1902.10909
• 会议：无

1、motivation

这是一篇比较早的论文，在Bert刚出来不久，本文使用Bert来实现natural language understanding中的intent classification和slot filing任务

2、模型

（1） Slot Filling

首先介绍一下什么是slot filing。slot filing：是对话系统中的一种任务，目的是从输入的对话中找到事先规定好的slot对应的token是什么，比如说输入对话Find me a movie by Steven Spielberg。我们事先规定好的slot是directed_by，那么Steven Spielberg就是slot对应的token。

将x输入Bert，把Bert的最后一层的隐藏层状态$h_2,...,h_T$取出，放入softmax层，进行分类，softmax输出空间大小是序列标注空间的大小。

上面公式是softmax计算公式

（2）Intent Classification

Intent Classification其实就是分类任务，本文使用Bert的最后一层的第一个隐藏层状态$h_1$和softmax进行分类预测，公式如下

（3）joint learning

本文使用联合训练的方法，同时训练Slot Filing和Intent Classification，公式如下所示

3、实验

本文提出的联合训练模型取得了优于baseline的结果。本文在实验中用CRF代替softmax来实现序列标注，但从实验结果中可以看出，softmax的效果更好。

作者还做了消融实验，如上图所示，从消融实验中可以看出联合学习对模型效果是有贡献的。