Tuka2000的博客

Named Entity Recognition for Entity Linking: What Works and What’s Next [pdf]论文状态：被EMNLP21-findings接收作者：Simone Tedeschi, Simone Conia, Francesco Cecconi and Roberto NavigliTL;DR: 本文尝试了各种利用命名实体类别信息辅助实体链接的方法，发现NER能够很好的在少样本训练的情况下辅助实体链接模型．1. Motivation作

BERT might be Overkill: A Tiny but Effective Biomedical Entity Linker based on Residual Convolutional Neural Networks [pdf]论文状态：被EMNLP21-findings接收作者：Tuan Lai, Heng Ji, ChengXiang ZhaiTL;DR: 本文用ResCNN取代传统的BERT做Entity Linking，可以取得相近的效果并大量减少参数和计算时间．1.

HIBRIDS: Attention with Hierarchical Biasesfor Structure-aware Long Document Summarization [pdf]论文状态：被ACL22接收作者：University of Michigan的 Shuyang Cao 和 Lu WangTL;DR: 本文用相对关系矩阵为transformer引入文档结构信息，进而提升长文档摘要的效果，并介绍了一个新的任务：结构化＂问题-摘要对＂生成．1. Motivation文档的

An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models [pdf]论文状态：被ACL22接收作者：University of Maryland的 Sweta Agrawal 和 Marine CarpuatTL;DR: 本文介绍了两种互补的策略来解决NAR模型适应编辑任务时训练不足和泛化问题：roll-in policy和Curriculum Learning1. Motivation设计

Improving Candidate Retrieval with Entity Profile Generation for Wikidata Entity Linking [pdf]论文状态：被ACL22-Findings接收作者：UIUC的 Tuan Lai, Heng Ji, ChengXiang ZhaiTL;DR:作者在候选实体检索任务上发明了Entity Profile Generation方法，用BART给mention生成一段含有标题和描述的profile作为query，用wik

ACL22的 SummaReranker论文阅读笔记

学习文本之间的潜在联系一、导论提到了wikisum，尽管wikisum向抽象多文档摘要迈出了重要的第一步，但是：它仍然认为多个输入文档是连接的平面序列，不知道文档之间的层次结构和可能存在的关系。选择搜索结果前10个，每个结果可能有重叠，用不同的方式表达同样的内容作者强调文档间的图关系(PageRank？)作者貌似要替换掉文档间的注意力机制计算replacing inter-document attentionwith a graph-matrix computed b

1.document embeddings → 获得单词和段落的矢量表示 → 向量算相似度 →判别不同的文章(分类器)2.两步的整数线性规划(ILP)模型 → summarize & rewrite一、导论假设1：类别信息是已知的，文章通常属于多个类别，而这些类别往往不是同等重要的。文章从多个类别总结 → 问题：文章不够精练，某些情况下，分类不能提供太多信息侵犯版权，意味着实体上的内容不能直接复制到维基百科连贯性问题我们使用段落向量模型(Le and Mikolov,

用的是卷积解码器，和已知的经典RNN的seq2seq是不同的，有更好的内容覆盖率一、定义导言文档被组织成主题连贯的文本片段，在讨论的内容方面表现出特定的结构某些主题可能以特定的顺序进行讨论(比如描述物种的顺序一般是：类型、发现的地区、栖息地)任务和18年WikiSum一样二、模型我们的模型由一个结构化的译码器组成，它被训练来预测一系列应该在摘要中讨论的句子主题，并基于这些主题生成句子。encoder: CNNdecoder:document-level decoder first

这是少见的没有用神经网络的论文，感觉像是一股清流一、任务定义在本文中，我们考虑的任务是自动创建一个多段的概述文章，提供一个主题的综合总结。我们使用特定领域的自动生成的内容模板为文章选择相关的材料。(例如，关于疾病的文章的模板可能包含诊断、原因、症状和治疗。我们的系统通过分析人类创作文档的结构模式，归纳出这些模板。)我们将这个任务定义为一个结构化的分类问题。我们估计我们的模型的参数使用感知器算法与整数线性规划(ILP)公式，运行在给定领域的一个示例文章的训练集。我们的重点是生成新的概述文章，遵循维

Generating wikipedia by summarizing long sequenceswe introduce a decoder-only architecture that can scalably attend to very long sequences一、任务定义我们将英文维基百科视为一个多文档摘要的监督机器学习任务input :维基百科主题(文章标题)、非维基百科参考文档集合组成output：维基百科文章文本二、相关工作input output作者的最大，说明作