ABCNN基于注意力的卷积神经网络用于句子建模--模型介绍篇

最新推荐文章于 2022-10-18 20:37:05 发布

原创

最新推荐文章于 2022-10-18 20:37:05 发布 · 1.7w 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#cnn #tensorflow #nlp

本文介绍了ABCNN模型，一种结合注意力机制的卷积神经网络，用于句子建模。ABCNN基于BCNN，通过在输入层、卷积层输出和池化层引入注意力机制，以增强模型的表达能力。文章详细阐述了BCNN的基本结构，以及ABCNN的三个变种：ABCNN-1在输入层添加注意力，ABCNN-2改进池化层，ABCNN-3则综合前两者。实验表明，ABCNN在多个数据集上表现出优秀的性能。

本文是Wenpeng Yin写的论文“ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs”的阅读笔记。其实该作者之前还发过一篇“Convolution Neural Network for Paraphrase Identification”。ABCNN是基于之前发的这篇论文加入了注意力机制。说到基于注意力的CNN，我们之前介绍过一篇Multi-Perspective CNN的论文。该论文也是在别的论文的基础上加入了注意力机制，但其实Attentin机制一般用于RNN模型会有比较好的效果，CNN的话也可以用==

相比这两篇Attention-based的论文，会发现，ABCNN提出了三个层面的Attention方法，有助于更加全面的理解attention在不同层面所能带来的不同作用。下面我们就来介绍一下该论文的模型。

BCNN

BCNN就是ABCNN模型的基础，即没有添加Attention的模型结构。如下图所示：

这里写图片描述

1，输入层：
就是将输入句子进行padding后转化成词向量即可。
2，卷积层：
当一开始看到这张结构图的时候我以为采用的是per-dim的卷积方法，可是后来发现这样做的话最后一层的sentence representation维度会非常大（15000维），并不适合作为特征输入给全连接层（逻辑斯特回归）。所以又仔细看了一下论文中对卷积层的描述，如下图所示。可

最低0.47元/天解锁文章