RoBERTa VS BERT

最新推荐文章于 2025-04-13 22:34:58 发布
最新推荐文章于 2025-04-13 22:34:58 发布
阅读量2.1k 收藏 3
点赞数 2
分类专栏： NLP 文章标签： nlp 机器学习 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43352957/article/details/105380659
版权
RoBERTa通过对BERT预训练方法进行改进，包括动态mask、调整输入格式、增大batch size、使用byte-level BPE及增加训练时间和数据集，实现了预训练模型性能的显著提升。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

RoBERTa- A Robustly Optimized BERT Pretraining Approach

在BERT模型的基础上，做了一些改进，提升了预训练模型的性能。

  • 把静态mask改成动态mask
    BERT中在数据预处理阶段，把数据集复制10份，然后进行MASK，也就是说原始数据集的每个句子都进行10次不同的MASK，但依然会在训练中出现重复。比如Epoch=40，那么每个相同的MASK会被重复训练4次。
    而RoBERTa采用动态mask，每次把squence输入模型时，进行MASK，使得每次训练的MASK都不同。

  • 调整输入格式和NSP任务
    考虑了四种格式：
    在这里插入图片描述
    发现去掉NSP loss之后性能有所提升；由于FULL-SENTENCES需要变大小的batch，所以采用DOC-SENTENCES形式

  • 调大batch size
    BERT用256，RoBERTa用8k

  • 把character-level BPE 换成byte-level BPE

  • 训练时间更长

  • 用更多训练数据集

总之，本文证明了BERT的预训练方法还有很多可以深挖的地方，在原先的基础上稍作调整又取得了SOTA。

传送门

2025秋招NLP算法面试真题(十四)-RoBERTa-Bert的改进
weixin_41496173的博客
07-03 876
Bert的改进工作
RoBERTa：BERT的优化方案
Neways的博客
12-03 2550
RoBERTa前言说明BERT简介结构输入训练目标MLMNSP优化AdamGELU数据相融实验动态OR静态掩码模型输入格式和NSP lossBatch size文本编码RoBERTa RoBERTa论文地址 前言说明 BERT模型是欠训练的，作者提供了一个超参优化的BERT训练模型RoBERTa, 即稳健优化的BERT方法（Robustly Optimized BERT Pretraining Approach) 优化的点包括： 训练时间更长，更大的batch，更多的数据 去掉了NSP训练（BERT的两个
roberta跟bert的对比
baidu_15113429的博客
11-24 1万+
roberta到底改进了什么？ 三个训练改进： 去掉下一句预测(NSP)任务 动态掩码。BERT 依赖随机掩码和预测 token。原版的 BERT 实现在数据预处理期间执行一次掩码，得到一个静态掩码。 而 RoBERTa 使用了动态掩码：每次向模型输入一个序列时都会生成新的掩码模式。这样，在大量数据不断输入的过程中，模型会逐渐适应不同的掩码策略，学习不同的语言表征。 文本编码。Byte-P...
BERT和ALBERT的区别；BERT和RoBERTa的区别；与bert相关的模型总结
L_goodboy的博客
11-03 3575
BERT和ALBERT的区别；BERT和RoBERTa的区别；与bert相关的模型总结
Deepseek Bart模型相比Bert的优势
最新发布
taoqick的专栏
04-13 1102
BART的核心优势在于其双向编码与自回归解码的融合架构多样化的去噪预训练策略以及多任务的统一适配性。相较于BERT，BART不仅继承了双向上下文理解能力，还突破了生成任务的限制，成为NLP领域更通用的解决方案。实际应用中，BART尤其适用于需生成与理解协同的场景（如对话系统、跨模态任务），而BERT更偏向纯文本理解任务。
bert的变形：RoBERTa 和 BERT 的异同
xiyou__的博客
12-28 7881
RoBERTa和BERT对比。
RoBERTa相比BERT的改进
火云明月的博客
03-31 2837
继BERT、XLNet之后，Facebook提出的RoBERTa（a Robustly Optimized BERT Pretraining Approach）。本篇文章主要总结下RoBERTa相比于BERT的改进。 RoBERTa在模型结构层面没有改变，改变的只是预训练的方法，具体是以下三点。 1.动态mask RoBERTa把预训练的数据复制10份，每一份都随机选择15%的Tokens进行mask，也就是说，同样的一句话有10种不同的mask方式。然后每份数据都训练N/10个epoch。这就相当于在这N
自然语言处理中的RoBERTa模型：BERT的进化
AI天才研究院
01-21 4773
1.背景介绍 在自然语言处理(NLP)领域，BERT(Bidirectional Encoder Representations from Transformers)模型是一种基于Transformer架构的预训练语言模型，它在多种NLP任务中取得了显著的成功。然而，随着数据规模和模型复杂性的增加，BERT在某些任务中的性能并没有达到预期。为了解决这个问题，RoBERTa(A Robustly ...
深入理解深度学习——BERT派生模型：RoBERTa（A Robustly Optimized BERT Pretraining Approach）
冯·诺依曼
06-23 1万+
现阶段，预训练语言模型总是可以通过更大的模型和更多的数据获得更好的性能，GPT系列模型就是此类优化方向的典范。RoBERTa（模型名源自论文名A Robustly Optimized BERT Pretraining Approach）是脸书公司提出的在BERT基础上增加训练数据，充分训练得到的预训练语言模型。
RoBERTa基于BERT做了哪些改进？
qq_42946379的博客
04-02 1171
总结RoBERTa基于BERT做了哪些改进。
无炫技：纯粹的Bert和Roberta
BmwGaara的博客
09-16 1486
项目连接：https://github.com/whgaara/pytorch-roberta 项目概述 bert作为当代NLP的基石型模型，熟练掌握是至关重要的。笔者阅读了很多大牛的代码，发现很多内容过于反锁，考虑的范畴与功能也非常的复杂，本着让更多小伙伴能通过代码直击bert精髓因此自己一行行纯手工敲出这个项目，尽可能做到的是纯粹。 因为roberta和bert极其相似，因此这里顺便给出了两种训练模式，其主要区别就是预训练数据的区别。此外，考虑到应用场景，此处bert也放弃了NSP任务，大家阅读时..
BERT、ALBERT、RoBerta、ERNIE模型对比和改进点总结
xuyupeng_sjtu的博客
07-31 3787
BERT、ALBERT、RoBerta、ERNIE模型对比和改进点总结
pytorch微调bert_香侬读 | RoBERT: 没错，我就是能更强——更大数据规模和仔细调参下的最优BERT
weixin_39624705的博客
11-02 536
文章标题：RoBERTa: A Robustly Optimized BERT Pretraining Approach文章作者：Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov文章链接：...
BERT、RoBerta、XLNet、ALBERT对比
Swift's Blog
03-25 1987
BERT BERT堆叠了多层Transformer的Encoder模块，设计了两个任务来完成预训练： Masked LM：随机mask掉15%的token，其中80%替换为[MASK]，10%替换为其它token，10%保留原单词。 Next Sentence Prediction(NSP)：从训练集中抽取A和B句，50%为A的下一句，50%为其它句子。 RoBerta 静态Mask VS 动态Mask 静态Mask：BERT对每一个序列随机选择15%的tokens替换成[MASK]，而一旦被选中，之
Roberta: Bert调优
雨石
09-30 2761
最近要开始使用Transformer去做一些事情了，特地把与此相关的知识点记录下来，构建相关的、完整的知识结构体系。 以下是要写的文章，文章大部分都发布在公众号【雨石记】上，欢迎关注公众号获取最新文章。 Transformer:Attention集大成者 GPT-1 & 2: 预训练+微调带来的奇迹 Bert: 双向预训练+微调 Bert与模型压缩 Bert与模型蒸馏：PKD和DistillBert ALBert: 轻量级Bert TinyBert: 模型蒸馏的全方位应用 MobileBert:
Roberta 充分训练的bert模型
hanghanghang的博客
06-22 722
RoBERTa是在论文《RoBERTa: A Robustly Optimized BERT Pretraining Approach》中被提出的。此方法属于BERT的强化版本，也是BERT模型更为精细的调优版本。他改了优化器的参数，原始BERT优化函数采用的是Adam默认的参数，其中β1=0.9,β2=0.999，在RoBERTa模型中考虑采用了更大的batches，所以将β2改为了0.98。他把静态掩码改成了动态掩码，原始静态mask：BERT中是准备训练数据时，每个样本只会进行一次随机mask（因此每
RoBERTa 详解
热门推荐
Decennie的博客
08-31 4万+
文章目录0. 背景1. 介绍2. 背景3. 实验设置3.1 配置3.2 数据3.3 评估4. 训练过程分析4.1 Static vs Dynamic Masking4.2 Model Input Format and NSP4.3 Training with large batches4.4 Text Encoding5. RoBERTa5.1 GLUE上的结果5.2 SQuAD上的结果5.3 RACE上的结果6. 总结 0. 背景 机构：Facebook & 华盛顿大学 作者：Yinhan Liu
RoBERTa个人记录
qq_55736201的博客
12-06 1152
RoBERTa （A Robustly Optimized BERT）模型是的改进版。
RoBERTa- 稳健优化的 BERT 预训练模型详解
池央的博客
12-03 4055
自 BERT（Bidirectional Encoder Representations from Transformers）问世，预训练语言模型在自然语言处理（NLP）领域掀起革命浪潮，凭卓越表现大幅刷新诸多任务成绩。RoBERTa 承继 BERT 架构，却凭借一系列精巧优化，在效果上更进一步，成为当下 NLP 研究与应用热门模型，广泛用于文本分类、问答系统、机器翻译等任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值