论文浅尝 | 多内容实体和关系联合抽取的对抗训练

链接：https://arxiv.org/pdf/1808.06876.pdf

动机

Szegedy 在 14 年发现，对于图像分类问题的神经网络，若是在输入中人为的添加很小尺度的扰动，会让已经训练好的神经网络做出错误的判断，并且可能以很高的置信度输出。很多人将这个性质的原因归结为深层神经网络的⾼度⾮线性以及过拟合。Goodfellow则给出了不同的看法。他认为即使是线性模型，也有这种现象。在高维空间中，即使是很小的扰动，也会对最终的输出值产生很大的影响。⽽对于神经⽹络⽽言，很多神经网络为了节省计算上的代价，都被设计成了线性的形式，这使得他们更容易优化，但是这样"廉价"的⽹络也导致了对于对抗扰动的脆弱性。除了生成对抗样本来攻击神经⽹络以外，对抗训练神经网络从⽽有效防⽌对抗样本的攻击也是⼀一个值得考虑的问题。之后大家开始尝试将对抗训练（AT）用于 NLP 领域，如文本分类问题。本文尝试将AT加入到实体识别和关系抽取的联合模型中，观察AT对联合模型的效果。

亮点

文章的亮点主要包括：

（1）提出了命名实体识别和关系抽取的联合模型，可以同时识别实体和实体间的关系，并且对于实体间存在的多关系也可以一次性提取出来；

（2）在训练过程中添加了对抗训练（AT），提升联合模型的鲁棒性和范性。

相关工作

一．实体和关系抽取的联合模型:

最初的联合模型是基于人工提取的特征，用于同时执行命名实体识别和关系提取子任务。这些方法依赖于NLP工具（例如POS标记器）的可用性，或者手工设计的特性，会导致额外的复杂性。之后神经网络的方法用来克服这一特征设计问题，通常涉及到RNNs和CNNs。特别是，Miwa和Bansal以及Li等人将双向树状结构的RNNs应用于不同的上下文以捕获语法信息（使用外部依赖分析器）。Gupta等人则使用各种手工提取的特性应用到RNNs中。Adel提出了解决简单问题的实体分类（EC，假设给出实体边界），与NER不同的是，他们复制实体周围的环境，将实体对喂给关系提取层。Katiyar和Cardie在研究带 attention 的RNNs时，没有考虑到关系标签并不是相互排斥的。最后，Bekoulis等人在联合模型中使用LSTMs一次只提取一个关系，但增加了NER部分的复杂性。

我们的基准模型