Raki的读paper小记：DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION

最新推荐文章于 2023-06-10 11:21:33 发布
最新推荐文章于 2023-06-10 11:21:33 发布
阅读量803 收藏 1
点赞数
分类专栏： NLP 读paper 文章标签： bert 自然语言处理 深度学习 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Raki_J/article/details/123550383
版权

Abstract & Introduction & Related Work

  • 研究任务
    • 预训练语言模型
  • 已有方法和相关工作
    • BERT, RoBERTa
  • 面临挑战
  • 创新思路
    • disentangled attention mechanism ：每个词用两个向量表示，分别编码其内容和位置，而词之间的注意力权重则分别用关于其内容和相对位置的分解矩阵来计算。
    • enhanced mask decoder ：用于在解码层中加入绝对位置，以预测模型预训练中的掩码符号
    • 此外，一个新的虚拟对抗训练方法被用来进行微调，以提高模型的泛化能力
  • 实验结论
    sota，大DeBERTa在superGLUE上首次超越了人类的宏平均分数

THE DEBERTA ARCHITECTURE

DISENTANGLED ATTENTION: A TWO-VECTOR APPROACH TO CONTENT AND POSITION EMBEDDING

token之间的注意力分数计算：
在这里插入图片描述
标准注意力机制，相当于用公式2的内容-内容，内容-位置两项，我们认为，位置-内容项也很重要，因为一个词对的注意权重不仅取决于它们的内容，还取决于它们的相对位置，这只能用内容-位置项和位置-内容项来完全建模。由于我们使用的是相对位置嵌入，位置到位置项并没有提供太多额外的信息，因此在我们的实施中从方程2中删除
在这里插入图片描述
用k来表示最大相对距离
在这里插入图片描述
DeBERTa注意力计算公式：
在这里插入图片描述
参数的一些解释
A i , j ~

最低0.47元/天 解锁文章
DeBERTa（Decoding-enhanced BERT with Disentangled Attention）简要解释
m0_51200050的博客
06-27 1198
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练语言模型，它通过在大规模文本数据上进行双向训练，能够很好地捕捉句子中的上下文信息。然而，尽管BERT取得了显著的效果，但在一些任务上仍有改进空间。DeBERTa就是为了解决这些不足而提出的。
Deberta:解耦+增强掩码的bert
最新发布
qq_41635502的博客
05-06 1328
该模型是正则化的，因此当给定特定任务的示例时，该模型产生的输出分布与该示例的对抗性扰动产生的输出分布相同。DeBERTa和BERT一样使用MLM进行预训练，使用掩码token周围的单词来预测掩码词，解耦注意机制已经考虑了语境词的内容和相对位置，但没有考虑这些词的绝对位置，绝对位置在很多情况下对预测至关重要。在论文中，DeBERTa在多个NLP基准测试中取得了优异的成绩，包括在SuperGLUE基准测试中首次超越人类表现，这表明DeBERTa在多项语言理解任务上具有强大的性能。
DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION
发呆的比目鱼的博客
04-11 1227
Paper： https%3A//arxiv.org/pdf/2006.03654.pdf Code： https%3A//github.com/microsoft/DeBERTa 在DeBerta中单词间的权重分别根据其内容和相对位置使用解耦的矩阵进行计算。 DeBERTa将上下文的内容和位置信息用于MLM。考虑这些词的绝对位置。 新的虚拟对抗训练方法，用于将PLM微调到下游NLP任务。 DEBERTA：具有分离注意力的解码增强型 BERT 预训练神经模型的研究已经显著提高了许多自然语言处理(N.
论文笔记：DeBERTa: Decoding-enhanced BERT with Disentangled Attention
missgrass的博客
07-15 1571
DeBERTa：具有分离注意力的解码增强型 BERT摘要介绍2 背景2.1 TRANSFORMER2.2 MASKED LANGUAGE MODEL（屏蔽语言模型）3 THE DEBERTA ARCHITECTURE3.1 DISENTANGLED ATTENTION: A TWO-VECTOR APPROACH TO CONTENT AND POSITION EMBEDDING(解开注意力：内容和位置嵌入的双向量方法) 摘要 预训练神经语言模型的最新进展显着提高了许多自然语言处理 (NLP) 任务的性能
DeBERTa (Decoding-enhanced BERT with disentangled attention)
zephyr_wang的博客
02-09 2981
1 简介 DeBERTa (Decoding-enhanced BERT with disentangled attention)，如名字所述，有两个技术来改善BERT和RoBERTa，第一个是disentangled attention（解开的注意力），每个单词使用两个向量分别编码文本和位置，在单词们之间的注意力权重是通过使用它们的文本和相对位置的解开矩阵分别进行计算的。第2个技术是使用了一个加强的mask decoder，在decoding层引入绝对位置来预测masked tokens。 本文根据202
Raki的读paper小记：SpanBERT: Improving Pre-training by Representing and Predicting Spans
Raki_J的博客
03-18 734
Abstract & Introduction & Related Work 研究任务 一种预训练方法，旨在更好地表示和预测文本的span 已有方法和相关工作 面临挑战 创新思路 在BERT的基础上，mask连续的随机span而不是tokens 训练span边界表征来预测被mask的span的全部内容，而不依赖其中的单个token表征 实验结论 在同样的训练数据下，在QA数据集上达到了sota 为了实现SpanBERT，我们建立在BERT的一个精心调整的副本上，它本身
Raki的读paper小记：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Raki_J的博客
03-18 889
Abstract & Introduction & Related Work 研究任务 sentence embedding 已有方法和相关工作 InferSent Universal Sentence Encoder Skip-Thought 面临挑战 BERT在文本语义相似度上达到了sota，然而，它需要将两个句子都送入网络，这导致了大量的计算开销。在10,000个句子的集合中找到最相似的一对，需要用BERT进行大约5千万次推理计算（约65小时）。BERT的构造使其不适合
Raki的读paper小记：Dice Loss for Data-imbalanced NLP Tasks
Raki_J的博客
03-18 1218
Abstract & Introduction & Related Work 研究任务 数据不平衡的NLP任务 已有方法和相关工作 面临挑战 负样例明显多于正样例，而且大量的容易负面的例子压倒了训练。最常用的交叉熵标准实际上是以准确性为导向的，这在训练和测试之间产生了差异。在训练时，每个训练实例对目标函数的贡献是相同的，而在测试时，F1得分更多关注的是正面实例 创新思路 将交叉熵损失函数替换成dice loss 为了进一步减轻训练中来自容易负样例例子的支配性影响，我们建议将训
Raki的读paper小记：SUBSPACE REGULARIZERS FOR FEW-SHOT CLASS INCREMENTAL LEARNING
Raki_J的博客
02-25 1067
Abstract & Introduction & Related Work 研究任务 已有方法和相关工作 Few-shot and incremental learning Learning class representations Learning with side information from language 面临挑战 创新思路 这种方法的关键是一个新的子空间正则化方案系列，它鼓励新类的权重向量接近于现有类的权重所跨越的子空间，可以直接扩展以纳入关于新类的额外背景信息
【论文精读】Debert:decoding-enhanced Bert with disentangled attention
baweikamisama的博客
01-28 1855
Debert:decoding-enhanced Bert with disentangled attention
DeBERTa：注意力分散的增强解码的BERT-Python开发
05-25
DeBERTa：具有分散注意力的增强解码的BERT DeBERTa：具有分散注意力的增强解码的BERT这是DeBERTa实施的存储库。我们的代码仍处于发布业务流程中，它将在本周末准备就绪。 贡献该项目欢迎您的贡献和建议。 大多数捐款要求您同意一份《捐款者许可协议》（CLA），声明您有权并实际上授予我们使用您的捐款的权利。 有关详细信息，请访问https：// cla。
DeBERTa:DeBERTa的实施
03-19
DeBERTa：注意力分散的增强解码的BERT 这个软件库的正式实施 消息 2/03/2021 DeBERTa v2代码和900M，1.5B现在在这里。这包括用于我们的SuperGLUE单模型提交并达到89.9的1.5B模型，而人类基线为89.8。您可以在我们的找到有关此提交的更多详细信息 v2的新功能 词汇在v2中，我们使用了根据训练数据构建的大小为128K的新词汇。代替GPT2分词器，我们使用词器。 nGiE（nGram诱导输入编码）在v2中，除了第一个转换器层之外，我们还使用了额外的卷积层，以更好地学习输入令牌的本地依赖性。我们将在此功能上添加更多的消融研究。 在关注层中将位置投影矩阵与内容投影矩阵共享在我们先前的实验的基础上，我们发现这可以保存参数而不影响性能。 应用存储桶对相对位置进行编码在v2中，我们使用对数存储桶对类似于T5的相对位置进行编码。 900M模型和1.5
第30章：使用disentangled attention机制Transformer模型DeBERTa架构及完整源码实现
StarSpaceNLP667的博客
11-27 505
1，使用两个vector来编码每个word的content和position 2，在pretraining阶段使用output enhanced mask decoder取代softmax layer对masked words预测的数学原理剖析 3，DebertaEmbeddings完整源码实现解析 4，DebertaPreTrainedModel完整源码实现解析 5，Disentangled Attention算法剖析 6，DebertaTokenizer完整源码实现解析 7，XDropo..
DEBERTA: DECODING-ENHANCED BERT WITH DIS- ENTANGLED ATTENTION glue榜首论文解读
hxshine的博客
03-15 1479
一、概览 二、详细内容 abstract a. 两个机制来improve bert和 roberta ⅰ. disentangled attention mechanism ⅱ. enhanced mask decoder b. fine-tuning阶段 ⅰ. virtual adversarial training -> 提升泛化 c. 效果 ⅰ. 对nlu和nlg下游任务，提升都比较大 ⅱ. 用一半的训练数据，效果就比roberta-large好了 ⅲ. 48层的deberta，在21年6月
DeBERTa
Facico的博客
03-09 1110
DeBERTa [DeBERTa: Decoding-enhanced BERT with Disentangled Attention](https://arxiv.org/abs/2006.03654) code：https://github.com/microsoft/DeBERTa GPT2差不多的参数，15亿参数。。。 key Disentangled Attention（分散注意力） 架构和bert类似，主要区别是Attention分数计算额外增加了位置信息 BERT：每个输入层to
DeBERTa讲解
weixin_42931934的博客
11-07 817
DeBERTa表明BERT中的时序关系还是太弱了，需要增强。
预训练模型：DeBERTa
u013250861的博客
06-10 1764
从19年Roberta开源以来，Roberta应该算是使用者最多的Encoder结构模型，简单、效果好，使用起来十分方便，在过去的两年内，基于Roberta(Bert)结构上的改进也层出不穷，也不乏效果还不错的，Deberta就是其中之一。Deberta是微软在2021年开源的模型，在论文中中，微软提出了基于注意力解耦机制的解码增强型BERT，在SuperGlue中成功登顶并且超越人类水平。短短一年，Deberta已经迭代了三个版本，但是在中文领域上的相关工作还比较少，
NLP之DeBERTa：DeBERTa的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-06 6488
​ NLP之DeBERTa：DeBERTa的简介、安装和使用方法、案例应用之详细攻略 目录 相关论文 DeBERTa的简介 DeBERTa的安装和使用方法 DeBERTa的案例应用 相关论文 《DeBERTa: Decoding-enhanced BERT with Disentangled Attention》翻译与解读 地址 论文地址：https://arxiv.org/abs/2006.03654 时间 2020年6月5日 作者 Peng
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值