<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_43390809的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_43390809</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_43390809]]></copyright><item><title><![CDATA[动态/双向attention和QANet]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/114375810</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/114375810</guid><author>qq_43390809</author><pubDate>Fri, 05 Mar 2021 13:44:35 +0800</pubDate><description><![CDATA[1.动态注意网络（DCN）：

1.1 encoder
查询术语序列向量表示（GloVe）： (xxxQ^QQ1_11​，xxxQ^QQ2_22​,…,xxxQ^QQn_nn​)
文档术语序列向量表示（GloVe）：(xxxD^DD1_11​，xxxD^DD2_22​,…,xxxD^DDm_mm​)
使用LSTM编码文档：dddt_tt​=LLLSSSTTTMMMe_ee​n_nn​c_cc​(dddt_tt​−_-−​1_11​,xxxD^DDt_tt​)。文档编码矩阵：DDD = [d1d_1d1​….]]></description><category></category></item><item><title><![CDATA[Graph-based Hierarchical Relevance Matching Signals for Ad-hoc Retrieval]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/114370843</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/114370843</guid><author>qq_43390809</author><pubDate>Thu, 04 Mar 2021 19:20:43 +0800</pubDate><description><![CDATA[abstract
本文提出了一个基于图的分层相关匹配模型（GHRM），它可以同时捕获subtle 和general的层次匹配信号。
     https://github.com/CRIPAC-DIG/GHRM

1.介绍
分层查询文档相关性匹配过程示例。(a)查询和候选文档(省略部分文字)。(b)文档中部分文字图。（c）包含关键词并丢弃与查询无关的词的层次图：

3 PROPOSED METHOD
3.1 Problem Formulation
查询和文档：


本文目的是对关于查询词和文档词的一系列相.]]></description><category></category></item><item><title><![CDATA[DeFormer（20 ACL）]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/114312400</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/114312400</guid><author>qq_43390809</author><pubDate>Wed, 03 Mar 2021 15:43:06 +0800</pubDate><description><![CDATA[DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering 
 https://github.com/StonyBrookNLP/deformer

Motivation
单塔模型运行速度慢，并且内存密集，本文引入DeFormer，它在较低的层单独处理question和passages，这允许预先计算段落表示，从而大大减少运行时计算。
1.介绍
根据这个事实：

预训练模型较低的层往往侧重于local现象，如句..]]></description><category></category></item><item><title><![CDATA[Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/114295468</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/114295468</guid><author>qq_43390809</author><pubDate>Wed, 03 Mar 2021 14:09:44 +0800</pubDate><description><![CDATA[Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
  https://github.com/DancingSoul/NQ_BERT-DM

Motivation
自然问题两种粒度的答案，即长答案(通常是一个passage)和短答案(长答案内的一个或多个实体)。现有方法在训练过程中单独处理这两个子任务，而忽略了它们的依赖性。
1 Introduction
图1介绍了..]]></description><category></category></item><item><title><![CDATA[Message Passing Attention Networks for Document Understanding]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/114187263</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/114187263</guid><author>qq_43390809</author><pubDate>Sat, 27 Feb 2021 21:36:51 +0800</pubDate><description><![CDATA[Message Passing Attention Networks for Document Understanding
 https://github.com/giannisnik/mpad.

1.Motivation
将MP（message passing）架构应用于文本表示学习。
2 Message Passing Neural Networks
对于一个图GGG=（VVV,EEE）,考虑节点vvv∈VVV，在ttt+++111时刻，一个massage 向量由节点vvv的邻居计算得出：

然后..]]></description><category></category></item><item><title><![CDATA[Text Level Graph Neural Network for Text Classification]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/114104502</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/114104502</guid><author>qq_43390809</author><pubDate>Thu, 25 Feb 2021 20:44:56 +0800</pubDate><description><![CDATA[Text Level Graph Neural Network for Text Classification
Motivation
解决基于GNN的文本分类主要面临的不支持在线测试的固定语料层次图结构和高内存消耗的实际问题。
2 Method
首先为给定的文本构建一个文本层次图；文本级图的所有参数都取自一些全局共享矩阵。然后，在这些图上引入消息传递机制，从上下文中获取信息。最后，基于所学的表示来预测给定文本的标签。
2.1 Building Text Graph
对于文本TTT = {r1r_1r1​,.]]></description><category></category></item><item><title><![CDATA[Neural Graph Matching Networks for Chinese Short Text Matching]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/114077216</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/114077216</guid><author>qq_43390809</author><pubDate>Thu, 25 Feb 2021 15:05:36 +0800</pubDate><description><![CDATA[Neural Graph Matching Networks for Chinese Short Text Matching

1.介绍
中文短文本匹配不同于英文，中文分词可能是错误的、模糊的或不一致的，从而损害最终的匹配性能。比如下图：字符序列“南京市长江大桥”经过不同的分词可能表达为不同的意思。

本文针对这种情况提出了一种用于中文短文本匹配的神经图匹配方法(GMN)。不是将每个句子分割成一个单词序列，而是保留所有可能的分割路径，形成一个单词格图（segment1，segment2，segment...]]></description><category></category></item><item><title><![CDATA[NumNet]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/114033123</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/114033123</guid><author>qq_43390809</author><pubDate>Wed, 24 Feb 2021 20:03:14 +0800</pubDate><description><![CDATA[NumNet: Machine Reading Comprehension with Numerical Reasoning
       https://arxiv.org/abs/1910.06701
       https://github.com/ranqiu92/NumNet

1.Motivation
将数值推理集成到机器阅读理解模型中。两个关键因素：

数值比较：问题的答案可以通过在文档中进行数值比较，如排序和比较，直接获得。例如，在表1中，对于第一个问题，如果MRC系统知道...]]></description><category></category></item><item><title><![CDATA[TextING]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/113897704</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/113897704</guid><author>qq_43390809</author><pubDate>Sat, 20 Feb 2021 22:31:25 +0800</pubDate><description><![CDATA[Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks
    https://github.com/CRIPAC-DIG/TextING

1. Motivation
现有的基于graph的工作既不能捕捉每个文档中的上下文单词关系，也不能实现新单词的归纳学习。
2. 介绍
基于图的方法有两个主要缺点。首先，忽略了每个文档中上下文相关的单词关系。
具体来说，TextGCN ...]]></description><category></category></item><item><title><![CDATA[Poly-encoders（2020 ICLR）]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/113586877</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/113586877</guid><author>qq_43390809</author><pubDate>Wed, 03 Feb 2021 14:55:09 +0800</pubDate><description><![CDATA[Poly-encoders: architectures and pre-training strategies for fast and accurate 
 							multi-sentence scoring
 非官方github ： https://github.com/chijames/Poly-Encoder

1.摘要
Cross - encoder 对句子对进行完全self-attention ，Bi - encoder分别对句子对进行编码。前者往往性能更好，但实际使用起来太慢。在..]]></description><category></category></item><item><title><![CDATA[Question Directed Graph Attention Network for Numerical Reasoning over Text]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/113526099</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/113526099</guid><author>qq_43390809</author><pubDate>Tue, 02 Feb 2021 13:24:14 +0800</pubDate><description><![CDATA[Question Directed Graph Attention Network for Numerical Reasoning over Text

摘要
对文本进行数字推理，如加法、减法、排序和计数，是一项具有挑战性的机器阅读理解任务，因为它需要自然语言理解和算术计算。为了应对这一挑战，作者提出了一种异构图表示，用于这种推理所需的文章和问题的上下文，并设计了一个问题导向图注意网络来驱动该上下文图上的多步数值推理。
介绍
作者认为QANET和NumNet对于复杂的数值推理是不够的，因为它们缺少数值...]]></description><category></category></item><item><title><![CDATA[K-BERT]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/113498213</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/113498213</guid><author>qq_43390809</author><pubDate>Mon, 01 Feb 2021 13:03:40 +0800</pubDate><description><![CDATA[K-BERT: Enabling Language Representation with Knowledge Graph
  https://github.com/autoliuweijie/K-BERT.

Motivayion
弥补语言模型缺乏领域知识的弊端
摘要
预先训练的语言表示模型，如BERT，从大规模语料库中获取一般的语言表示，但缺乏特定领域的知识。阅读一篇领域文本时，专家用相关知识进行推理。为了使机器能够实现这一功能，作者提出了一种基于知识的语言表示模型，其中三元组作为领域知识注入到句...]]></description><category></category></item><item><title><![CDATA[DC-BERT]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/113094813</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/113094813</guid><author>qq_43390809</author><pubDate>Sun, 24 Jan 2021 19:43:29 +0800</pubDate><description><![CDATA[DC-BERT: DECOUPLING QUESTION AND DOCUMENT FOR EFFICIENT CONTEXTUAL ENCODING

Motivation
关注预训练的LM应用于open-domain的无法处理高吞吐量的传入问题。
DC-BERT

BBBEEERRRTTT的较低层编码更多的局部句法信息，如词性标签，而较高层往往依赖于更广泛的上下文来捕捉更复杂的语义。DDDCCCBBBEEERRRTTT受这个启发，它将BBBEEERRRTTT的较低层解耦到本地上下文(question和.]]></description><category></category></item><item><title><![CDATA[DUET and updated DUET(2016 and 2019)]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/113083634</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/113083634</guid><author>qq_43390809</author><pubDate>Sun, 24 Jan 2021 15:09:15 +0800</pubDate><description><![CDATA[Learning to Match Using Local and Distributed Representations of Text for Web Search

摘要
DUET由两个独立的深度神经网络组成，一个使用局部表示匹配查询和文档，另一个使用学习的分布式表示匹配查询和文档。这两个网络作为单个神经网络的一部分被联合训练。
Motivation

local 模型进行精确匹配，分布式模型进行 同义词，相关术语或者语义匹配。
讨论
作者提出三个高效IR的属性

exact match :这是I..]]></description><category></category></item><item><title><![CDATA[ColBERT（2020SIGIR）]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/111996652</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/111996652</guid><author>qq_43390809</author><pubDate>Fri, 22 Jan 2021 15:44:46 +0800</pubDate><description><![CDATA[ColBERT: Eficient and Efective Passage Search via Contextualized Late Interaction over BERT

Motivation
预训练的LM在IR上计算成本太高。本文考虑降低计算成本的同时，保证检索性能，并且结合基于表示和交互的模型（如下图ddd）。
IR模型对比：

(ddd):每个查询 embedding 都通过MaxSim操作符与所有文档嵌入交互，MaxSim操作符计算最大相似度(例如cos)，并且这些操作符的标量输出..]]></description><category></category></item><item><title><![CDATA[Real-Time Open-Domain Question Answering with Dense-Sparse Phrase Index（DENSPI）]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/112866970</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/112866970</guid><author>qq_43390809</author><pubDate>Wed, 20 Jan 2021 16:22:57 +0800</pubDate><description><![CDATA[Real-Time Open-Domain Question Answering with Dense-Sparse Phrase Index
 	nlp.cs.washington.edu/denspi 
 	Training takes 16 hours (64-GPU hours) and indexing takes 5 days (500 GPU-hours）

1.摘要
现有的开放域问答（QA）模型不适合实时使用，因为它们需要针对每个输入查询按需处理多个长文档。 在本文中，作者介绍了文档短...]]></description><category></category></item><item><title><![CDATA[KHAMA（2019IJCAI）]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/112617882</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/112617882</guid><author>qq_43390809</author><pubDate>Thu, 14 Jan 2021 19:22:51 +0800</pubDate><description><![CDATA[Knowledge-enhanced Hierarchical Attention for Community Question Answering with Multi-task and Adaptive Learning

介绍
作者认为社区QA存在下列问题：

外部事实知识没有得到充分利用（KB）
CQA模型应当考虑输入序列的不同语义级别（attention）
现有的CQA模型没有考虑输入question的类别，可能丢失重要特征（多任务：QA+question 分类）
现有的CQA模型不能有效的处理.]]></description><category></category></item><item><title><![CDATA[知识指导文本检索和阅读：graph-retriever+graph-reader（2020 University of Washington）]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/112568707</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/112568707</guid><author>qq_43390809</author><pubDate>Thu, 14 Jan 2021 15:51:23 +0800</pubDate><description><![CDATA[Knowledge Guided Text Retrieval and Reading for Open Domain Question Answering

介绍
在基于文本的open-domain QA中，如何在不牺牲覆盖面的情况下最好地利用知识库(KB)仍然是一个悬而未决的问题。之前的工作已经将知识库事实转化为句子，以提供额外的证据在本文中，但是不显式地使用知识库图结构。作者展示了这种结构对于在基于开放域文本的问答中检索文本段落和融合它们之间的信息是非常有益的。
作者介绍了一种基于文本的开放领域...]]></description><category></category></item><item><title><![CDATA[DPR]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/112528004</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/112528004</guid><author>qq_43390809</author><pubDate>Tue, 12 Jan 2021 17:08:42 +0800</pubDate><description><![CDATA[Dense Passage Retrieval for Open-Domain Question Answering
https://github.com/facebookresearch/DPR

摘要
开放域问题回答依赖于有效的段落检索来选择候选上下文，其中传统的稀疏向量空间模型，如TF-IDF或BM25，是事实上的方法。作者表明检索实际上可以单独使用密集表示来实现，其中embedding是通过简单的dual-encoder framework从少量的questions 和 passages 中学习的.]]></description><category></category></item><item><title><![CDATA[Multi-Task-DNN（2019ACL）]]></title><link>https://blog.youkuaiyun.com/qq_43390809/article/details/111974916</link><guid>https://blog.youkuaiyun.com/qq_43390809/article/details/111974916</guid><author>qq_43390809</author><pubDate>Wed, 30 Dec 2020 18:37:54 +0800</pubDate><description><![CDATA[Multi-Task Deep Neural Networks for Natural Language Understanding
  https://github.com/namisan/mt-dnn.

Model

Lexicon Encoder ( l1):
输入XXX = {x1x_1x1​,…,xmx_mxm​}，mmm个token,X可以是单个句子，也可以是多个句子的打包
首个token：[CLS]
句子分割：[SEP]
embedding：word, segment, and pos...]]></description><category></category></item></channel></rss>