SpanBert学习

已于 2024-04-24 09:40:14 修改
阅读量988 收藏 10
点赞数 17
CC 4.0 BY-SA版权
分类专栏： 深度学习 自然语言处理 文章标签： 学习
于 2024-04-23 17:17:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/eli00001/article/details/138124322
文章介绍了SpanBERT，一种改进的预训练模型，通过新的SpanMask方案和加入SBO训练目标提升性能，尤其是在抽取式问答任务上。实验表明，移除NSP任务并采用连续句子训练效果更佳。训练细节包括动态masking和优化器参数调整。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SpanBERT: Improving Pre-training by Representing and Predicting Spans

核心点

  1. 提出了更好的 Span Mask 方案，也再次展示了随机遮盖连续一段字要比随机遮盖掉分散字好；
  2. 通过加入 Span Boundary Objective (SBO) 训练目标，增强了 BERT 的性能，特别在一些与 Span 相关的任务，如抽取式问答；
  3. 用实验获得了和 XLNet 类似的结果，发现不加入 Next Sentence Prediction (NSP) 任务，直接用连续一长句训练效果更好。

整体结构

1.Span Masking，SM。根据集合分布，随机选择一段span的长度，之后根据均匀分布随机选择这一段的起始位置，然后按照长度进行遮盖。使用几何分布取p=0.2，最大长度为10，通过采样，平均遮盖长度为3.8个词的长度。

2.SBO span boundary objective ，希望被遮盖span边界的词向量，能学习到span的内容。再训练时，取span前后边界的两个词，用这两个词向量加上span中被遮盖词的位置向量，预测原词。

将词向量和位置向量拼接起来，加两层全连接。使用Gelu函数，并使用正则化。

最后预测span中原值时计算新损失，即SBO目标的损失。将该损失与BERT的MLM损失加起来，一起训练模型。

3.NSP ，Next Sentence Prediction任务，SPanBert没有用NSP,使用Single-Sequence Traing。不加入NSP任务判断是否两句是上下句，直接用一句来训练。

训练细节

  1. 训练时用了 Dynamic Masking 而不是像 BERT 在预处理时做 Mask；
  2. 取消 BERT 中随机采样短句的策略；
  3. 还有对 Adam 优化器中一些参数改变。

学习自 SpanBert：对 Bert 预训练的一次深度探索 - 知乎

Transformer大模型实战 用SpanBERT 预测文本段
AI天才研究院
06-09 778
Transformer大模型实战 用SpanBERT 预测文本段 1.背景介绍 在自然语言处理(NLP)领域,预训练语言模型(Pre-trained Language Models)已经成为解决各种下游任务的关键技术。随着Transformer模型的出现,NL
Transformer大模型实战 深入了解SpanBERT
AI天才研究院
07-07 381
随着自然语言处理(NLP)任务的日益复杂化，传统基于词袋或n-gram的方法逐渐显得力不从心。尤其是在处理长文本、理解句子间的细微差异时，这些方法难以捕捉到有效的上下文信息。为此，深度学习技术，特别是Transformer架构的引入，成为解决这一难题的关键突破。Transformer凭借其独特的注意力机制和并行化的计算方式，在多种NLP任务上展现出卓越的表现，并迅速成为了该领域研究的热点。SpanBERT的主要工作是通过构建一个通用的表示生成器，然后根据所需任务的不同，动态地调整输出以满足特定需求。
Spanbert
qq_37008037的博客
03-24 521
这篇论文中提出了一种新的mask的方法，以及一个新损失函数对象。并且讨论了bert中的NSP任务是否有用 　如上图所示，首先这里的mask策略是span mask。具体的做法是首先从一个几何分布中采样span的长度，且限制最大长度为10，然后再随机采样（如均匀分布) span的初始位置。整个训练任务就是预测mask的token，另外mask的比例问题和bert中类似。 除了这些之外还有两个策略，一是动态mask，在bert中是在数据预处理阶段对一条序列随机不同的mask 10次，而在这里是...
BERT家族：spanBERT
qq_32223859的博客
05-26 2053
SpanBERT 论文：《SpanBERT: Improving Pre-training by Representing and Predicting Spans》 论文地址：https://arxiv.org/pdf/1907.10529 作者/机构：华盛顿大学+普林斯顿大学 年份：2019.8 SpanBERT对Bert的改进主要体现在对mask方式的改进，丢弃NSP任务和增加SBO（Span Boundary Objective）任务。其改进点如下： （1）Span mask方案
SpanBERT
Facico的博客
02-17 376
SpanBERT SpanBERT: Improving Pre-training by Representing and Predicting Spans 没有segment embedding，只有一个长句子，类似RoBERTa 使用Span Masking 将NSP改成了SBO Span Masking 首先引入了ERINE中的Whole Word Masking、Named Entity Masking、Phrase Masking 这上面的做法能让效果提升，但是MASS模型中表明，对于这些词
【深度学习】BERT变体—SpanBERT
Dong_ZH的博客
03-06 9386
SpanBERT出自Facebook，就是在BERT的基础上，针对预测spans of text的任务，在预训练阶段做了特定的优化，它可以用于span-based pretraining。这里的Span翻译为“片段”，表示一片连续的单词。SpanBERT最常用于需要预测文本片段的任务。SpanBERT所做的预训练调整主要是以下三点：1.使用一种span masking来代替BERT的mask；2.加入另外一个新的训练目标：Span Boundary Objective (SBO)；
SpanBert 详解
Decennie的博客
09-02 6388
文章目录0. 摘要1. Introduction2. 背景：BERT3. Model3.1 Span Masking3.2 Span Boundary Objective (SBO)3.3 Single-Sequence Training4. 实验设置4.1 任务4.1.1 Extractive Question Answering4.1.2 Coreference Resolution4.1.3 Relation Extraction4.1.4 GLUE4.2 实现4.3 Baselines5. 实验结果
文本分类资源合集（含深度学习文本分类模型，如SpanBERT、DGCNN、ELMo、RAM、DeepMoji等）.zip
01-18
1、该资源内项目代码经过...文本分类资源合集（含深度学习文本分类模型，如SpanBERT、ALBERT、RoBerta、Xlnet、MT-DNN、BERT、TextGCN、MGAN、TextCapsule、SGNN、SGM、LEAM、ULMFiT、DGCNN、ELMo、RAM、DeepMoji）.zip
文本分类资源合集（含深度学习文本分类模型，如SpanBERT、ULMFiT、DGCNN、RAM、DeepMoji）.zip
03-30
【资源说明】 ...文本分类资源合集（含深度学习文本分类模型，如SpanBERT、ALBERT、RoBerta、Xlnet、MT-DNN、BERT、TextGCN、MGAN、TextCapsule、SGNN、SGM、LEAM、ULMFiT、DGCNN、ELMo、RAM、DeepMoji）.zip
Transformer大模型实战 将预训练的SpanBERT用于问答任务
AI天才研究院
07-03 953
Transformer大模型实战 将预训练的SpanBERT用于问答任务 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1
BERT-NER-Pytorch：使用BERT（Softmax，CRF，Span）的中文NER（命名实体识别）
02-03
使用Bert的中文NER BERT代表中文NER。 数据集列表 cner：数据集/ cner 主持人： ： 型号清单 BERT + Softmax BERT + CRF BERT +跨度 需求 1.1.0 = <PyTorch <1.5.0 cuda = 9.0 python3.6 + 输入格式 输入格式（首选BIOS标记方案），每个字符的标签为一行。 句子用空行分隔。 美 B-LOC 国 I-LOC 的 O 华 B-PER 莱 I-PER 士 I-PER 我 O 跟 O 他 O 运行代码 在run_ner_xxx.py或run_ner_xxx.sh修改配置信息。 sh scripts/run_ner_xxx.sh 注意：模型的文件结构 ├── prev_trained_model | └── bert_base | | └── pytorch_model.bin | | └── config.json | | └── vocab.txt | | └── ...... CLUENER结果 BERT在dev上的整体性能： 准确性（实体） 召回（实
SpanBERT-PyTorch
03-09
SpanBERT-PyTorch
spanBert
liunianhuakai的博客
08-05 912
1. 对 BERT 模型进行了如下改进： 对随机的邻接分词（span）而非随机的单个词语（token）添加掩膜 通过使用分词边界的表示来预测被添加掩膜的分词的内容，不再依赖分词内单个 token 的表示。 SpanBERT 能够对分词进行更好地表示和预测。该模型和 BERT 在掩膜机制和训练目标上存在差别。首先，SpanBERT 不再 对 2. 原理 该模型和 BERT 在掩膜机制和训练目标上...
解读SpanBERT:《Improving Pre-training by Representing and Predicting Spans》
小岁月太着急
08-11 7218
原文链接： https://arxiv.org/pdf/1907.10529.pdf 在本文中，作者提出了一个新的分词级别的预训练方法 SpanBERT ，其在现有任务中的表现优于 BERT ，并在问答、指代消解等分词选择任务中取得了较大的进展。对 BERT 模型进行了如下改进： 提出了更好的 Span Mask 方案，SpanBERT 不再对随机的单个 token 添加掩膜，而是对随...
Raki的读paper小记：SpanBERT: Improving Pre-training by Representing and Predicting Spans
Raki_J的博客
03-18 753
Abstract & Introduction & Related Work 研究任务 一种预训练方法，旨在更好地表示和预测文本的span 已有方法和相关工作 面临挑战 创新思路 在BERT的基础上，mask连续的随机span而不是tokens 训练span边界表征来预测被mask的span的全部内容，而不依赖其中的单个token表征 实验结论 在同样的训练数据下，在QA数据集上达到了sota 为了实现SpanBERT，我们建立在BERT的一个精心调整的副本上，它本身
预训练模型 - SpanBERT
beyoncewxm0923的博客
06-09 662
目录预训练模型简要介绍¶SpanBERT: Improving Pre-training by Representing and Predicting Spans¶1. SpanBERT的技术改进点¶2. BERT模型中的预训练任务¶2.1 Masking Language Model (MLM)¶2.2 Next Word Prediction (NSP)¶3. SpanBERT的预训练任务¶3.1 Span Masking¶3.2 Span Boundary Object (SBO)...
SpanBERT学习
hxshine的博客
12-01 589
1. 解决的问题 在回答问题“Which NFL team won Super Bown 50?”时，判断“Denver Broncos” 是否属于“NFL team”是非常重要的步骤。相比于在已知“Broncos”预测“Denver”的情况，直接预测“Denver Broncos”难度更大，这意味着这类分词对自监督任务提出了更多的挑战。 2. 优化思路 （1）对随机的邻接分词（span）而非随机的单个词语（token）添加掩膜； （2）通过使用分词边界的表示来预测被添加掩膜的分词的内容，不再依赖分词内单个
深入理解深度学习——BERT派生模型：SpanBERT（Improving Pre-training by Representing and Predicting Spans）
热门推荐
冯·诺依曼
06-23 1万+
MLM训练方法是BERT拥有自然语言理解能力的核心训练方法。然而，BERT在预训练过程中挑选掩码词的概率是独立计算的，即BERT掩码词的粒度是最小的，可能是单个词，也可能是一个词的部分子词。SpanBERT的核心思想是，扩大掩码范围会让模型有更好的性能。SpanBERT没有修改BERT的结构，也没有使用更多的语料，仅仅通过设计更合理的预训练任务和目标，使模型有更好的性能表现，思路非常独特。
SpanBERT（Span-based Pre-training of BERT）模型
最新发布
彬彬侠的博客
03-06 1210
SpanBERT是Facebook AI Research（FAIR）和University of Washington在2019年提出的一种改进版BERT，专门用于学习更好的文本片段（Span）表示，特别适用于问答系统（QA）、关系抽取（RE）、实体链接等任务。采用Span Masking（Span级Mask），增强对长文本的理解。引入Span Boundary Objective（SBO），让模型更关注Span结构。可通过Hugging Face transformers直接加载SpanBERT进行推理
spanbert动机’
12-30
### SpanBERT提出的背景和目的 为了改进现有的基于Transformer的语言模型，特别是针对连续片段的理解能力，一种新的方法被提出并应用于span-based预训练[^1]。传统的方法如BERT主要关注于单个token级别的masking策略，而未能充分捕捉更长跨度内的上下文关系。 新方法通过对BERT进行了两项重要扩展：一是采用随机遮蔽连续片段（masking continuous random spans），这使得模型能够学习到跨越多个词之间的依赖关系；二是引入边界表示的学习（training span boundary representations），从而实现对整个被掩盖片段内容的整体预测。这种设计旨在让模型更好地理解文本中较长距离的信息关联，并提高其在涉及多词语表达的任务上的表现力。 ```python # 这是一个简单的例子展示如何模拟Span-BERT的mask操作 import numpy as np def mask_continuous_spans(tokens, max_span_length=5): masked_tokens = tokens.copy() n = len(masked_tokens) while True: start = np.random.randint(0, n) length = min(np.random.geometric(p=0.2), max_span_length) if start + length <= n: break for i in range(start, start + length): masked_tokens[i] = "[MASK]" return masked_tokens tokens_example = ["This", "is", "an", "example", "sentence"] print(mask_continuous_spans(tokens_example)) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值