Raki的读paper小记：SpanBERT: Improving Pre-training by Representing and Predicting Spans

最新推荐文章于 2024-04-23 17:17:46 发布
最新推荐文章于 2024-04-23 17:17:46 发布
阅读量726 收藏
点赞数 1
分类专栏： NLP 读paper 文章标签： 人工智能 机器学习 自然语言处理 bert
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Raki_J/article/details/123585307
版权

Abstract & Introduction & Related Work

  • 研究任务
    • 一种预训练方法，旨在更好地表示和预测文本的span
  • 已有方法和相关工作
  • 面临挑战
  • 创新思路
    • 在BERT的基础上，mask连续的随机span而不是tokens
    • 训练span边界表征来预测被mask的span的全部内容，而不依赖其中的单个token表征
  • 实验结论
    • 在同样的训练数据下，在QA数据集上达到了sota

在这里插入图片描述
为了实现SpanBERT，我们建立在BERT的一个精心调整的副本上，它本身就大大超过了原始BERT。在建立我们的baseline的同时，我们发现在单段上进行预训练，而不是用下一句预测（NSP）目标的两个半长段，大大改善了大多数下游任务的性能。因此，我们将我们的修改加在调整后的单序列BERT baseline

Model

我们提出了SpanBERT，这是一种自我监督的预训练方法，旨在更好地代表和预测文本的跨度。我们的方法受到BERT（Devlin等人，2019）的启发，但在三个方面偏离了其双文本分类框架。首先，我们使用不同的随机过程来掩盖标记的跨度，而不是单个标记。我们还引入了一个新的辅助目标–SBO–该目标试图仅使用跨

最低0.47元/天 解锁文章
Raki的读paper小记：ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS
Raki_J的博客
03-18 2343
Abstract & Introduction & Related Work 研究任务 预训练语言模型 已有方法和相关工作 面临挑战 虽然它们在转移到下游的NLP任务时产生了很好的结果，但它们通常需要大量的计算才能有效 创新思路 我们提出了一个更有样本效率的预训练任务，叫做替换token检测。我们的方法不是mask输入，而是通过用从小型生成器网络中抽样的合理的替代物来替换一些token来破坏它 我们不是训练一个预测被破坏的token的原始身份的模型，而是训练一个判别模型，预测
Raki的读paper小记：Hierarchical Entity Typing via Multi-level Learning to Rank
Raki_J的博客
02-06 491
Abstract & Introduction & Related Work 一个树状层级的粗粒度到细粒度的模型，拥抱了本体论结构（？这是什么） 研究任务 hierarchical entity classification 已有方法和相关工作：FET的进展主要集中在以下方面 更好的mention表示 融入层次结构 面临挑战 研究人员提出了替代的FET方法，其类型不在类型层次中形成。 创新思路 提出了一种新的方法，将明确的本体结构考虑在内，通过多层次的学习排名方法，以给定的
SpanBERT: 抽取式问答的利器
zenRRan的博客
05-10 1504
点击下面卡片，关注我呀，每天给你送来AI技术干货！来自：朴素人工智能感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介...
解读SpanBERT:《Improving Pre-training by Representing and Predicting Spans》
小岁月太着急
08-11 7191
原文链接： https://arxiv.org/pdf/1907.10529.pdf 在本文中，作者提出了一个新的分词级别的预训练方法 SpanBERT ，其在现有任务中的表现优于 BERT ，并在问答、指代消解等分词选择任务中取得了较大的进展。对 BERT 模型进行了如下改进： 提出了更好的 Span Mask 方案，SpanBERT 不再对随机的单个 token 添加掩膜，而是对随...
[文献阅读]——SpanBERT: Improving Pre-training by Representing and Predicting Spans
jokerxsy的博客
05-06 675
d
SpanBERT: Improving Pre-training by Representing and Predicting Spans（2019-7-24）
weixin_49346755的博客
10-08 183
相比于BERT，SpanBERT主要是在预训练阶段进行了调整，如图1所示，具体包含以下几部分：随机地Masking一段连续的token增加了一项新的预训练任务：Span boundary Objective (SBO)去掉了NSP任务图1 SpanBERT改进点汇总图在接下来的内容中，我们将对这些预训练任务进行详细探讨，特别是前两个改进点。但是在正式讨论之前，我们先来回顾一下经典的BERT模型中的预训练任务。
【预训练语言模型】SpanBERT: Improving Pre-training by Representing...
夏栀的博客
05-29 826
【预训练语言模型】SpanBERT: Improving Pre-training by Representing and Predicting Spans （2020ACL）   陈丹琦团队的一篇改进BERT预训练任务的工作，扩展了BERT预训练语言模型： 不像BERT只MASK单独的一个token，而是随机MASK掉连续的序列（ contiguous random span）； 训练span boundary representation预测mask掉的整个区间内容； 1、动机: 许多NLP任务涉
深入理解深度学习——BERT派生模型：SpanBERT（Improving Pre-training by Representing and Predicting Spans）
冯·诺依曼
06-23 1万+
MLM训练方法是BERT拥有自然语言理解能力的核心训练方法。然而，BERT在预训练过程中挑选掩码词的概率是独立计算的，即BERT掩码词的粒度是最小的，可能是单个词，也可能是一个词的部分子词。SpanBERT的核心思想是，扩大掩码范围会让模型有更好的性能。SpanBERT没有修改BERT的结构，也没有使用更多的语料，仅仅通过设计更合理的预训练任务和目标，使模型有更好的性能表现，思路非常独特。
Raki的读paper小记：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Raki_J的博客
03-18 885
Abstract & Introduction & Related Work 研究任务 sentence embedding 已有方法和相关工作 InferSent Universal Sentence Encoder Skip-Thought 面临挑战 BERT在文本语义相似度上达到了sota，然而，它需要将两个句子都送入网络，这导致了大量的计算开销。在10,000个句子的集合中找到最相似的一对，需要用BERT进行大约5千万次推理计算（约65小时）。BERT的构造使其不适合
Raki的读paper小记：SimVLM: SIMPLE VISUAL LANGUAGE MODEL PRETRAINING WITH WEAK SUPERVISION
Raki_J的博客
08-16 948
在我们的初步实验中，我们发现编码器-解码器模型引入的inductive bias将编码与生成解耦，有助于改善下游任务。另一方面，我们的PrefixLM公式是模态无关的，因此我们可以另外包括纯文本语料库，以补偿alt文本数据中的噪声文本监督。与以前的MLM风格的VLP方法相比，我们在序列到序列框架下的PrefixLM模型不仅享有MLM中的双向上下文表示，而且可以执行类似于LM的文本生成。我们的工作为现有的VLP范式提供了一个很有前途的替代方案，我们希望我们的工作能够启发生成VLP的未来研究。......
SpanBert学习
最新发布
一休哥的专栏
04-23 934
根据集合分布，随机选择一段span的长度，之后根据均匀分布随机选择这一段的起始位置，然后按照长度进行遮盖。使用几何分布取p=0.2，最大长度为10，通过采样，平均遮盖长度为3.8个词的长度。2.SBO span boundary objective ，希望被遮盖span边界的词向量，能学习到span的内容。再训练时，取span前后边界的两个词，用这两个词向量加上span中被遮盖词的位置向量，预测原词。最后预测span中原值时计算新损失，即SBO目标的损失。将词向量和位置向量拼接起来，加两层全连接。
【论文泛读89】使用SpanBERT改进不同文本类型上的不良药物事件提取
scu-liu的博客
05-20 378
贴一下汇总贴：论文阅读记录 论文链接：《Improving Adverse Drug Event Extraction with SpanBERT on Different Text Typologies》 一、摘要 近年来，互联网用户在社交媒体，博客和健康论坛上报告了不良药品事件（ADE）。由于报告数量众多，药物警戒正在寻求诉诸NLP来监控这些销售点。我们首次建议将SpanBERT架构用于ADE提取任务：流行的BERT转换器的这一新版本显示了具有多令牌文本跨度的改进功能。我们通过对具有不同文本类型（推文和
【深度学习】BERT变体—SpanBERT
Dong_ZH的博客
03-06 9248
SpanBERT出自Facebook，就是在BERT的基础上，针对预测spans of text的任务，在预训练阶段做了特定的优化，它可以用于span-based pretraining。这里的Span翻译为“片段”，表示一片连续的单词。SpanBERT最常用于需要预测文本片段的任务。SpanBERT所做的预训练调整主要是以下三点：1.使用一种span masking来代替BERT的mask；2.加入另外一个新的训练目标：Span Boundary Objective (SBO)；
NLP 预训练家族再思考
Kaiyuan_sjtu的博客
12-22 903
作者|周俊贤整理|NewBeeNLP最近整理预训练模型，又复习看了几篇BERT变体的论文，无外乎都是从「模型架构、MASK方式、预训练目标」入手，实话实说，感觉没有太大的创新...
SpanBert 详解
Decennie的博客
09-02 6102
文章目录0. 摘要1. Introduction2. 背景：BERT3. Model3.1 Span Masking3.2 Span Boundary Objective (SBO)3.3 Single-Sequence Training4. 实验设置4.1 任务4.1.1 Extractive Question Answering4.1.2 Coreference Resolution4.1.3 Relation Extraction4.1.4 GLUE4.2 实现4.3 Baselines5. 实验结果
Improving Language Understanding by Generative Pre-Training阅读笔记
Leokb24的博客
05-08 5533
文章目录概述Framwork1. 无监督预训练2.有监督的fine-tuning实验实验设置无监督预训练模型规格Fine-tuning细节实验结果 概述 要说最近NLP最显著的成果, 自然是几乎无人不知, 无人不晓的Bert. 但其实在Bert出现几个月之前, OpenAI在《Improving Language Understanding by Generative Pre-Training》就...
Bert改进模型汇总（3）
J~的博客
02-11 4069
目录 SpanBert: Improving Pre-training by Representing and Predicting Spans SpanMasking Span Boundary Objective Remove NextSentencePrediction RoBERTa:Robustly optimized BERT approach MoreData...
RoBERTa、ERNIE2、BERT-wwm-ext和SpanBERT
热门推荐
小岁月太着急
08-11 1万+
对于NLP来说，上个月（7月）是一个摩肩接踵的时刻，几大预训练模型轮番PK，群雄逐鹿中原。从7月26号的RoBERTa到7月29号的ERNIE2，再到7月30号的BERT-wwm-ext，再到7月31号的SpanBERT，其中RoBERTa引起大家的热论。 先上一张有意思的图：（来至知乎作者Andy Yang） RoBERTa 从模型上来说，RoBERTa基本没有什么太大创新，主要是...
spanBert
liunianhuakai的博客
08-05 897
1. 对 BERT 模型进行了如下改进： 对随机的邻接分词（span）而非随机的单个词语（token）添加掩膜 通过使用分词边界的表示来预测被添加掩膜的分词的内容，不再依赖分词内单个 token 的表示。 SpanBERT 能够对分词进行更好地表示和预测。该模型和 BERT 在掩膜机制和训练目标上存在差别。首先，SpanBERT 不再 对 2. 原理 该模型和 BERT 在掩膜机制和训练目标上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值