关于用深度学习做answer selection的论文

最新推荐文章于 2021-09-28 09:59:27 发布

Sherry_up

最新推荐文章于 2021-09-28 09:59:27 发布

阅读量4.1k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：【原创】技术研究机器学习文章标签：深度学习 cnn lstm attention QA

本文链接：https://blog.youkuaiyun.com/Sherry_up/article/details/52103378

本文探讨了几篇关于使用深度学习，特别是CNN、LSTM和Attention机制在answer selection任务中的论文。研究显示，带有Attention的CNN和LSTM模型相比传统基线模型表现更优，其中ABCNN-3 with attention和QA-LSTM with attention模型取得最佳精度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近做question-answering系统，看了几篇相关的论文，涉及到用CNN、LSTM、RNN、Attention等算法，这里做个记录。
1 Attention-Based Convolutional Neural Network for Modeling Sentence Pairs (IBM)
提出了四种基于CNN的模型，用余弦相似度来表示两个句子的相似性。
文章采取了w-average-pooling，所以不需要对长短不一的句子补齐，假设两个句子的长度分别是５、７，embedding　size是300，filter size是 3
a) CNN without attention模型
一层CNN模型如下
s0 input words embedding (5×300) –> wide convolution(７×300) –> w-average-pooling (5×300) –>
s1 input words embedding (7×300) –> wide convolution(9×300) –> w-average-pooling (7×300)
由于卷积之后，特征向量的维度不变，因此可以将多层这样的CNN堆叠。最后一层用all-average-pooling，得到句子特征向量，计算它们的cosine　相似度。
b) ABCNN-1　with attention
input embeddings convolution后得到representation　feature map，计算两个句子的每两个字之间关联程度，得到5*7的attention matrix，关联程度用Euclidean distance（|x-y|)）的变式1/(1＋|x-y|)。接着，W0*AT和W1*A分别得到两个句子的attention feature map，W0 、Ｗ1是要学习的参数。将representation　feature map和attention feature map作为convolution input，卷积。
c) ABCNN-2　with attention