Bilateral Multi-Perspective Matching for Natural Language Sentences阅读笔记及复现

最新推荐文章于 2022-05-19 22:00:04 发布
原创 最新推荐文章于 2022-05-19 22:00:04 发布 · 1.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#BiMPM #论文阅读 #复现

本文详细介绍了Bilateral Multi-Perspective Matching（BiMPM）模型，包括词向量层、上下文表示层、匹配层、聚合层和预测层。匹配层的关键在于多角度匹配操作，通过多种策略捕捉句子间的细致联系。实验部分展示了模型在Paraphrase Identification、Natural Language Inference和Answer Sentence Selection等任务上的应用和效果，并提供了复现代码链接。

文章目录


论文贡献: 提出了一种双向的多角度匹配模型（bilateral multi-perspective matching).

Method

Model Overview

1. Word Representation Layer

The goal of this layer is to represent each word in P and Q with a d-dimensional vector.
输入向量由两部分组成:一部分是固定的词向量(Glove或者word2vec)，另一部分是字符向量构成的词向量.字符向量是随机初始化然后输入到LSTM学习得到的.

2. Context Representation Layer

这一层目的是将上下文信息融合到 P 和 Q 每个 time-step 的表示中，这里利用 Bi-LSTM 去得到 P 和 Q 每个time-step 的上下文向量。

3. Matching Layer

模型的关键层.
比较句子 P 的每个上下文向量（time-step）和句子 Q 的所有上下文向量（time-step），比较句子 Q 的每个上下文向量（time-step）和句子 P 的所有上下文向量（time-step）。为了比较一个句子中某个上下文向量（time-step）和另外一个句子的所有上下文向量（time-step），这里设计了一种 multi-perspective 的匹配方法 ⊗ \otimes ⊗，用于获取两个句子细粒度的联系信息。

这层的输出是两个序列，序列中每一个向量是一个句子的某个 time-step 相对于另一个句子所有的 time-step 的匹配向量。

4. Aggregation Layer

这层主要功能是聚合两个匹配向量序列为一个固定长度的匹配向量。对两个匹配序列分别使用 Bi-LSTM，然后连接 Bi-LSTM 最后一个 time-step 的向量（4个）得到最后的匹配向量。

5. Prediction Layer

这层目的是计算概率 P r ( y ∣ P , Q ) Pr(y|P, Q) Pr(y∣P,Q).前一次的输出连接两层前馈神经网络,之后再加上softmax输出结果.

Multi-prespective Matching Operation

重点介绍下论文提出的多角度匹配算法.
论文中提到多角度匹配运算 ⊗ \otimes ⊗有以下两步:

1.定义多角度余弦匹配方程 f m f_m fm​来比较两个向量 m = f m ( v 1 , v 2 ; W ) m = f_m(v_1, v_2;W) m=fm​(v1​,v2​;W)
这里 v 1 , v 2 v_1,v_2 v1​,v2​是两个d-dimensional向量, W W W是一个 l × d l\times d l×d维的学习参数, m m m是一个 l l l维向量,其中 m k m_k mk​表示第k个角度,具体计算方式 m k = c o s i n e ( W k ∘ v 1 , W k ∘ v 2 ) m_k = cosine(W_k\circ v_1, W_k\circ v_2) mk​=cosine(Wk​∘v1​,Wk​∘v2​) 这里 ∘ \circ ∘表示element-wise multiplication.

2.基于上步提到的 f m f_m fm​, 定义了四种匹配策略来比较一个句子的某个 time-step 与另一个句子的所有 time-step.

  • 第一种 Full-Matching
    取一个句子的某个 time-step 和另一个句子的最后一个 time-step 做比较
  • 第二种 Maxpooling-Matching
    取一个句子的某个 time-step 和另一个句子的所有 time-step 比较后取最大
  • 第三种 Attentive-Matching
    首先计算一个句子的某个 time-step 和另一个句子的所有 time-step 的余弦相似度，类似 Attention 矩阵。
然后计算attentive向量
最后, 计算

  • 第四种 Max-Attentive-Matching
    和第三种类似,不过最后attentive vector是求max而不是mean.

    对句子每一个time-step都使用了以上四种匹配策略,之后将这8个匹配向量进行concatenate.

实验

实验设置

word_embedding: 300(freeze)
OOV: initialize randomly
character-composed embedding: 初始化为20维向量, 然后将每个词输入到50维的lstm
BiLSTM hidden layer: 100
dropout: 0.1
损失函数: cross entropy
optimizer: ADAM
learning rate: 0.001

实验结果

实验了三个任务:

  • Paraphrase Identification
  • Natural Language Inference
  • Answer Sentence Selection
    数据集1 Quora Question pairs

数据集2 SNLI

数据集3 TREC-QA WikiQA

复现

论文复现github地址

复现《Bilateral Multi-Perspective Matching for Natural Language Sentences》中的模型完成问答任务
Huilung的博客
04-24 408
这是本人最近在读《智能问答与深度学习》著作时，尝试运行作者提供的关于复现《Bilateral Multi-Perspective Matching for Natural Language Sentences》源码的过程中所遇到的一些问题以及解决措施，进行的整理记录，相关的资料请自行前往仓库地址进行下载。 1 cd .. &bash download.sh 这一步需要下载词向量处理工具包...
Bilateral Multi-Perspective Matching for Natural Language Sentences论文笔记
weixin_42164041的博客
05-25 388
自然语言句子的双向多视角匹配 INTRODUCTION 自然语言句子匹配（NLSM）是指对两个句子比较，确定他们的关系，可以完成释义识别，判断两个是否有释义；对于自然语言推理任务，用来判断假设句是否可以从前提句中推断出来；对于问答和信息检索任务，用于评估问答对之间的相关性；对于机器理解任务，用于匹配文章与问题。 目前有两种用于NLSM的深度学习框架，第一种是基于“孪生”结构，将同一个神经编码器分别应用于两个输入句子，使这两个句子都被编码到同一个嵌入空间的句子向量中，然后基于这两个句子向量进行匹配。这个框架的
文本相似度：Bilateral Multi-Perspective Matching for Natural Language Sentences
浩比的专栏
12-31 1286
文章地址：https://arxiv.org/pdf/1702.03814.pdf 文章标题：Bilateral Multi-Perspective Matching for Natural Language Sentences（自然语言句子的双边多视角匹配）IJCAI2017 文章代码：https://github.com/zhiguowang/BiMPM 实验数据集：the Quora Que...
《Bilateral Multi-Perspective Matching for Natural Language Sentences》（句子匹配）
anqiu4023的博客
06-07 636
问题： Natural language sentence matching (NLSM)，自然语言句子匹配，是指比较两个句子并判断句子间关系，是许多任务的一项基本技术。针对NLSM任务，目前有两种流行的深度学习框架。一种是Siamese network: 对两个输入句子通过同样的神经网络结构得到两个句子向量，然后对这两个句子向量做匹配。这种共享参数的方式可以有效减少学习的参数，让训练...
Bilateral Multi-Perspective Matching for Natural Language Sentences---读书笔记
weixin_30426957的博客
07-18 264
自然语言句子的双向、多角度匹配,是来自IBM 2017 年的一篇文章。代码github地址:https://github.com/zhiguowang/BiMPM 摘要 这篇论文主要提出了一个双向多角度匹配的模型(BiMPM),给定两个句子P和Q，首先模型分别将二者编码成BiLSTM encoder,然后在P→Q和Q→P两个方向对编码之后的句子进行匹配，在每...
Raki的读paper小记：Bilateral Multi-Perspective Matching for Natural Language Sentences
Raki_J的博客
12-26 733
本文介绍了一种用于自然语言语句匹配的模型：BiMPM 在三种任务上达到了sota paraphrase identification 释义识别 natural language inference 自然语言推断 answer sentence select 答案语句选择 模型 实验 评价
论文学习笔记: Learning Multi-Scale Photo Exposure Correction(含pytorch代码复现)
weixin_45937009的博客
05-19 3524
Learning Multi-Scale Photo Exposure Correction 本章工作: 作为Learning Multi-Scale Photo Exposure Correction.论文的简要学习笔记 鉴于官方代码为Matlab代码，因此本人采用pytorch框架将其进行了复现了一下，并将其放在个人github网址上进行了开源(ps: 如果觉得此工作不错的话，希望能给个starred收藏，嘻嘻)。 论文摘要 本论文任务旨在图像曝光矫正(包括曝光不足及过曝光.) 将曝光矫正问题拆分
文献阅读 - Edge-Preserving Decompositions for Multi-Scale Tone and Detail Manipulation (ACM TOG 2008)
Always On The Way
10-24 4831
Edge-Preserving Decompositions for Multi-Scale Tone and Detail Manipulation Z. Farbman, R. Fattal, D. Lischinski, R Szeliski, Edge-Preserving Decompositions for Multi-Scale Tone and Detail Manipulati...
Bilateral-Filtering.rar_Bilateral-Filtering_Bilateral_filter_bil
07-15
Bilateral filter
Bilateral Multi-Perspective Matching for Natural Language Sentences
Ying_M
07-05 447
目录论文阅读准备前期知识储备学习目标论文导读论文研究背景、成果及意义研究背景相关工作Siamese architectureMatching-aggregative研究成果研究意义论文泛读论文结构摘要论文精读BIMPM整体结构词嵌入层上下文表示层匹配层聚合层+预测层多视角匹配全匹配最大池化匹配注意力匹配最大注意力匹配模型整体结构实验设置及结果分析参数设置实验分析论文总结 论文阅读准备 前期知识储备 简单讲，比较就是交互匹配，聚合就是特征压缩。 学习目标 论文导读 论文研究背景、成果及意义 研究背景
Multi-Perspective-LSTM-for-Joint-Visual-Representation-Learning
03-20
LSTM联合视觉表示学习的多视角 MPLSTM — TensorFlow-Keras正式实施 用于联合视觉表示学习的多视角LSTM Alireza Sepas-Moghaddam，Fernando Pereira，Paulo Lobato Correia，Ali Etemad CVPR'21论文： ：//arxiv.org/abs/ 摘要：我们提出了一种新颖的LSTM单元结构，该结构能够实现多视角LSTM（MP-LSTM）单元体系结构，以学习从多个角度捕获的视觉序列中可用的内部和内部透视关系。我们的体系结构采用了一种新颖的循环联合学习策略，该策略在单元级别使用了额外的门和记忆。我们证明，通过使用建议的单元格创建网络，可以为识别任务学习更有效，更丰富的视觉表示。我们在两个多视角视觉识别任务（即唇读和脸部识别）的背景下验证了我们提出的体系结构的性能。考虑了三个相关的数据集，并将结果与​​
Expressing an Image Stream with a Sequence of Natural Sentences
松鼠
10-18 371
用自然句序列表达图像流 摘要：我们提出了一种检索图像流的自然句子序列的方法。由于普通用户经常在他们的特殊时刻拍摄一系列照片，因此最好考虑整个图像流以产生自然的语言描述。尽管几乎所有以前的研究都涉及单个图像和单个自然句子之间的关系，但我们的工作将输入和输出维度扩展到了图像序列和句子序列。为此，我们设计了一种称为相干递归卷积网络（CRCN）的多模式体系结构，它由卷积神经网络，双向递归神经网络和基于实体的局部相干模型组成。我们的方法直接从大量用户生成的博客文章资源中学习，作为文本图像并行训练数据。我们通过定量测
双路最大匹配 bilateral matching
weixin_43069769的博客
07-16 307
双路最大匹配 消除了前向与后向的差异，既可以过滤短词，也可以全部匹配实现搜索模式 这个代码太啰嗦，只是没时间整理了。其实可以短很多很多 def forwoard_slide(original,index_,max_len = 5): return original[index_:index_+max_len] def forwoard_test_word(text,dict_): char_len = len(text) for char_index in range(char_
文本匹配、文本相似度模型之BiMPM
u012526436的博客
03-19 5471
转载请注明出处，原文地址 简介 本文是对论文BiMPM：BilateralMulti-PerspectiveMatchingforNaturalLanguageSentences的解读。该模型主要用于做文本匹配，即计算文本相似度。 文本匹配是NLP领域较为常见的技术，但是大部分的匹配方法都是从单一的角度去做匹配，例如ANCNN把两个句子通过同样权重的网络结构，把得到的向量进行相似度计算。BiMPM...
深度文本匹配发展总结
xiayto的博客
07-28 1万+
1、背景介绍 文本匹配是自然语言处理中的一个核心问题，很多自然语言处理的任务都可以抽象成文本匹配问题，例如信息检索可以归结成查询项和文档的匹配，问答系统可以归结为问题和候选答案的匹配，对话系统可以归结为对话和回复的匹配。针对不同的任务选取合适的匹配模型，提高匹配的准确率成为自然语言处理任务的重要挑战。 2、数据集介绍 论文中经常用到的数据集： SNLI：570K条人工标注的英文句子对...
ABCNN基于注意力的卷积神经网络用于句子建模--模型介绍篇
呜呜哈的博客
04-07 1万+
本文是Wenpeng Yin写的论文“ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs”的阅读笔记。其实该作者之前还发过一篇“Convolution Neural Network for Paraphrase Identification”。ABCNN是基于之前发的这篇论文加入了注意力机制。
Multi-Perspective Sentence Similarity Modeling with Convolutional Neural Networks（阅读理解）
u014029197的博客
05-17 730
本文重点：不同于其他文章的句子表示，作者提出不同粒度的句子表征，方便后续的相似度计算，使用卷积神经网络为每个句子建模，该网络提取多个粒度级别的特征并使用多种类型的池化操作作者在相似度计算的过程中采用了不同的相似度计算方法来比较句子表示，针对句子表征后的局部进行相似度计算句子表征作者的模型基于CNN，提供了两种卷积操作和三种池化操作卷积操作第一种卷积方式相当于是n-gram特征的抽取第二种卷积方式，...
高斯（Gaussian）滤波、中值（Median）滤波与双边（Bilateral）滤波的特点
热门推荐
认真你就输了
08-08 1万+
图像预处理过程中，常常会遇到类似这样问题：有没有一个“好”的算法？例如，有没有一个好的边缘检测算法，或者有没有一个好的滤波算法？但通常来说，没有一个算法能够满足通用性要求，每个算法都有各自的特点。因此，对于这类问题，最先要问的是：我要解决什么问题，为什么我需要一个这样的算法？对于人造物体的检测，可能需要边缘检测算法，因为人造物体中，有规律的边缘或直线比较常见，但需要调整一些参数；对于非人造物体，可能
Improving Language Understanding by Generative Pre-Training阅读笔记
Leokb24的博客
05-08 5594
文章目录概述Framwork1. 无监督预训练2.有监督的fine-tuning实验实验设置无监督预训练模型规格Fine-tuning细节实验结果 概述 要说最近NLP最显著的成果, 自然是几乎无人不知, 无人不晓的Bert. 但其实在Bert出现几个月之前, OpenAI在《Improving Language Understanding by Generative Pre-Training》就...
Ultra-High-Definition Image Dehazing via Multi-Guided Bilateral Learning代码
最新发布
12-28
### 关于Ultra-Definition Image Dehazing via Multi-Guided Bilateral Learning的代码实现 此方法的核心在于通过深度卷积神经网络（CNN）构建仿射双边网格，这是一种高效的特征表示方式，能够保留图像中的细节边缘和纹理信息[^2]。为了实现这一目标，算法设计了多个指导矩阵来帮助仿射双边网格更好地恢复高质量特征。 #### 主要组件解析 1. **仿射双边网格** 构建仿射双边网格是为了有效地捕捉并处理图像的空间和色彩信息。这种结构允许模型在不同尺度下操作，并且能够在保持局部特性的前提下去除雾霾影响。 2. **多导引机制** 多个制导矩阵用于辅助仿射双边网格的工作。这些矩阵提供了额外的信息通道，使得模型可以从不同的角度分析输入数据，从而提高最终输出的质量。 3. **高效推理引擎** 该框架不仅关注准确性，同时也注重效率。实验结果显示其能在实际应用中达到每秒超过一百帧的速度，适用于实时场景下的超高清视频流处理。 #### Python 实现概览 下面是一个简化版Python伪代码示例，展示了如何使用PyTorch库搭建上述提到的主要模块： ```python import torch from torchvision import models, transforms import numpy as np class AffineBilateralGrid(torch.nn.Module): def __init__(self): super(AffineBilateralGrid, self).__init__() # 定义仿射变换参数初始化逻辑 def forward(self, input_image): # 执行前向传播过程，返回经过仿射双边网格处理后的结果 def create_guidance_matrices(input_tensor): """ 创建一组或多组指导矩阵作为附加信息源给到仿射双边网格层 :param input_tensor: 输入张量 :return: list of guidance matrices """ pass if __name__ == "__main__": device = "cuda" if torch.cuda.is_available() else "cpu" model = AffineBilateralGrid().to(device) preprocess = transforms.Compose([ transforms.Resize((512, 512)), # 调整大小至固定尺寸 transforms.ToTensor(), # 将PIL图片转换为tensor形式 transforms.Normalize(mean=[0.485], std=[0.229]) # 归一化预处理 ]) img_path = 'path_to_your_hazy_image.jpg' image = Image.open(img_path).convert('RGB') tensor_input = preprocess(image).unsqueeze_(0).to(device) guidances = create_guidance_matrices(tensor_input) output = model(tensor_input) ``` 这段代码仅作为一个概念验证性质的例子，并未完全按照论文描述的具体架构进行编码；具体实现还需要参照原始文献以及官方发布的训练脚本或开源项目来进行调整优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值