yinizhilianlove的博客

本文作者推出了革命性的框架：Spatial-RAG，该框架通过结合空间数据库和LLM的语义理解能力，显著提升了空间推理任务的性能。

今天Meta的这篇文章突破归一化层不可或缺传统观点，具体来说：提出了一种名为动态Tanh（DyT）的简单技术，用于替代Transformer中的归一化层，实验表明，使用DyT的无归一化Transformer在多种任务和领域中均能达到或超过传统归一化模型的性能，且大多无需超参数调整。

本文作者将MoE的思想应用到了Attention机制上，提出了MoBA方法，该方法能够无缝切换全注意力和稀疏注意力，不仅提升了LLM推理效率，且保证了模型性能。

本文提出了“提取-精炼-检索-读取”框架：ERRR，旨在缩小LLM的预检索信息差距，通过query优化更好地满足模型的知识需求，进而生成准确的回答。

北航&微软 | 提出高秩适应LLMs微调法：MoRA，填补LoRA低秩缺陷！

Mamba系列论文整理分享

北航&&清华 | 提出TinyLLaVA多模态框架，性能可媲美大模型

最近有小伙伴私信问：什么是ACL国际会议，除了ACL，EACL、NAACL、AACL分别是什么会议，它们有什么联系吗？另外ACL、EACL、NAACL、AACL分别是什么等级的会议呢？为此，作者针对这些问题，统一做了整理给大家分享交流。相信看完本文，你一定会对ACL有一个全面的了解。如果有错误的地方欢迎大家批评指正。

今天给大家分享的这篇文章，从多模态角度出发，通过对基于多头交叉注意机制的原子级一致性和基于图神经网络的成分级一致性进行研究，提出了一种新的基于层次结构的讽刺语检测框架。

不论在学术还是在工作中，相信很多做文档理解的小伙伴都知道，预训练模型需要微调才能适用不同格式的文档，但是「现实文档格式千千万，怎么才能训练一个统一的模型用来处理不同格式文档呢」？为此今天给大家分享的这篇EMNLP2022的文章给出了解决思路。

最近看了很多关于NLP的文章，发现一些预训练模型(PLMs)调优很多都用到了Prompt。之前对Prompt理解相对比较简单，所以今天找了几篇综述，整理了一下关于Prompt的相关知识，个人觉还算比较全面，遂与大家分享学习。

本文提出了一个具有实体内存(EDMem)的新的Encoder-Decoder框架。「EDMem 是各种实体密集型 QA 和生成任务的统一框架」，我们在其中训练实体记忆来实现高效的知识整合。

虽然单向预训练模型(如：GPT)和双向预训练模型（如Bert）在小样本学习任务中取得了不错的成绩，但是它们「在零样本学习任务中的潜力并未充分挖掘，为此本文提出了用语言模型生成训练数据实现零样本学习」。

注意力机制或图神经网络(GNN)生成长文本摘要，存在忽略黄金摘要中传递的关键语义信息以及忽略了单词之间的顺序和句法依赖性。针对这两个问题，本文「提出了一个新的框架 GRETEL，用于长文本的提取摘要」，为 PLM 提供神经主题推理，以充分结合局部和全局语义。 实验结果表明，模型型优于现有的最先进方法。

提示(Prompt)的微小变化就会引起大型语言模型(LLM)较大的性能变化，这将会有大量时间花费在提示（prompt）设计上。为此本文提出了ASK ME ANYTHING(AMA)方法，该方法首先产生多个有效且不完美的prompt，然后将它们进行聚合，最后产生高质量的提示(prompt)。

知识图谱（Knowledge Graph）是以三元组形式，将数据存储在图数据库中。实现知识图谱问答，核心是将自然语言转化为在图数据的查询语言，也就是将自然语言问题映射到结构化查询的过程。在知识图谱问答中，当KGs中缺少一些环节时，它很难识别正确的答案，如果解决这个问题，本篇文章或许能够帮到你。

知识图谱（KGs）目前被广泛应用，但不论是传统的KGs和新建的KGs都会存在不完整的问题。虽然知识图谱嵌入(KGE)可以解决该类问题，但是「新兴的KG往往伴随着新的关系和实体，在已有KG上训练的KGE模型，是不能应用于在新建KG上去获取这些看不到的实体和关系的」。为此本文引入了元学习联邦设置，在现有KG上对一组任务进行采样，以模仿新兴KG上的链接预测任务，基于采样任务训练了一个图神经网络用于解决此类问题。

本文提出了Emb-GAM，它可以在不牺牲可解释性的情况下实现了强大的预测性能

来源: AINLPer 微信公众号（每日论文干货分享！！）编辑: ShuYini校稿: ShuYini时间: 2021-11-16引言    今天突然发现自己的原创文章已经有150多篇了，没想到在不知不觉中已经积累了这么多。今天周五，明天可以睡懒觉 ，正好凑着这个时间，整理了我之前所做的工作，并大致做了分类共计7类，便于大家查找阅读。如下：    论文精读 NLP、NLU、NLG、多特征融合、问答对生成、多实例学习、多任务学习、端到端关系提取、跨度提取；    论文速递 情感分析、舆论检测.

来源: AINLPer 微信公众号（每日论文干货分享！！）编辑: ShuYini校稿: ShuYini时间: 2021-11-22那么今天继续给大家分享一篇EMNLP顶会上的文章：Enhanced Language Representation with Label Knowledge for Span Extraction。【论文及代码链接在后面】引言在自然语言信息抽取中，有这么一种描述叫：Span Extraction，翻译过来叫做跨度提取。这里的跨度提取指的就是在纯文本中提取文本中的.

来源: AINLPer 微信公众号（每日论文干货分享！！）编辑: ShuYini校稿: ShuYini时间: 2021-11-21Paper：When Attention Meets Fast Recurrence：Training Language Models with Reduced Compute.我们知道由于计算时间和成本的增加，大型语言模型变得越来越难以训练。基于这个问题，今天给大家分享EMNLP2021顶会上的一篇文章，本篇论文的主要工作是建立在 SRU(一种高度并行化的 RN.

来源: AINLPer 微信公众号（每日论文干货分享！！）编辑: ShuYini校稿: ShuYini时间: 2021-11-21情绪能够刺激我们采取行动并影响在生活中做出的重大和次要决定，极大地影响了人们社交和建立联系的方式。因此理解语言中包含的情绪信息在应用中具有重大的意义。 谷歌最近的一项新的研究介绍了：一个人工标注的细粒度情绪数据集，其中包含 58k 条来自主要英语子版块的 Reddit 评论，并确定了28个情绪类别。它有 12 个正面、11 个负面、4 个模棱两可的情感类别和 1 个“.

来源: AINLPer 微信公众号（每日论文干货分享！！.）编辑: ShuYini校稿: ShuYini时间: 2021-11-19题目：Plan-then-Generate: Controlled Data-to-Text Generation via Planning论文：https://arxiv.org/pdf/2108.13740.pdfGithub：https://github.com/yxuansu/plangen数据集：https://github.com/google-r.

来源: AINLPer 微信公众号（每日更新…）编辑: ShuYini校稿: ShuYini时间: 2021-11-16论文信息：REBEL: RelationExtraction By End-to-end Language generation源码地址：https://github.com/Babelscape/rebel今天给大家分享一篇关于关系抽取的文章，关系抽取是自然语言处理中信息抽取（EI）的重要组成部分。如果您对信息抽取、关系抽取、实体抽取、事件抽取还不是很了解可以阅读以下几篇.

来源: AINLPer 微信公众号（每日更新…）编辑: ShuYini校稿: ShuYini时间: 2021-11-16Paper： RP-DNN: A Tweet level propagation context based deep neural networks for early rumor detection in Social Media.该篇是英国谢菲尔德大学发表的一篇关于舆论分析检测防控的文章，该篇文章主要针对当前舆论检测算法的不足(当前算法主要是对已经引起的舆论进行级别检测.