Bert的MLM任务loss原理

最新推荐文章于 2025-08-01 09:20:52 发布
原创 最新推荐文章于 2025-08-01 09:20:52 发布 · 6k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#bert #深度学习 #自然语言处理

BERT的预训练任务包括MLM和NSP，本文主要关注MLM。该任务中，15%的词汇被mask，通过transformer等层编码，然后预测mask位置的词，相当于在词汇表大小的类别上做多分类。logits与one-hot编码的label计算交叉熵，加权平均后得到loss。

         bert预训练有MLM和NSP两个任务，其中MLM是类似于“完形填空”的方式，对一个句子里的15%的词进行mask，通过双向transformer+feedforward+rediual_add+layer_norm完成对每个词的embedding编码，然后对mask的这个词进行预测，预测过程相当于做多分类，类别的个数是词汇的总个数，将mask的词的emb经过MLP变换生成在每个类别词汇上的logits 概率，label是mask位置上真实词在整个词汇上的one-hot编码，将logits和label计算交叉熵，又做了加权平均，即可得出MLM的loss，过程如下：

         源码中的get_masked_lm_output()方法过程解析：

1、输入input_tensor:[batch,maskednums, embed_size]

2、经过线性变换+layernorm:[batch,maskednums, 768]

3、logits：将embedding table[3万,768]作为变换矩阵，计算logits：[batch,maskednums, 3万]，相当于得出每个被盖住词在3万个词上的概率，其实就是3万个类别多分类

4、labels：one-hot编码[maskednums,3万]

5、计算交叉熵：[bactch, maskednums]

6、loss：加权平均得出一个实数</

最低0.47元/天 解锁文章
zcc_0015
关注
从零训练模型：BERT模型【任务：①MLM（掩码语言模型）、②NSP（下一句预测）】
u013250861的博客
03-26 2038
第27-32行是分别取BERT模型输出的不同部分来分别进行后续的MLM和NSP任务；第33-43行是根据是否有标签输入来返回不同的输出结果，同时需要注意的是第39行返回的是NSP+MLM两个任务的损失和作为整体模型的损失值；第11-12则是用来判断最后分类层中的权重参数是否复用BERT模型Token Embedding中的权重参数，因为MLM任务最后的预测类别就等于Token Embedding中的各个词，所以最后分类层中的权重参数可以复用Token Embedding中的权重参数[11]。
BERT 预训练学习（数据：样本构建、输入格式；算法：transformer、mlm和nsp任务）
weixin_42357472的博客
12-02 5166
任务：MLM完形填空、下一句预测 数据：构建样本数据及label，输入格式 参考： **https://github.com/DA-southampton/TRM_tutorial/tree/main/BERT%E4%BB%A3%E7%A0%81%E4%BB%8E%E9%9B%B6%E8%A7%A3%E8%AF%BB **https://github.com/bojone/bert4keras/tree/master/pretraining **https://zhuanlan.zhihu.com/p/4
bert 的MLM框架任务-梯度累积
vivi_cin的博客
05-12 555
【代码】bert 的MLM框架任务。
必须要GPT-3吗？不，BERT的MLM模型也能小样本学习
Paper weekly
10-03 2264
©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络大家都知道现在 GPT-3 风头正盛，然而，到处都是 GPT-3、GPT-3 地推，读者是否记得 ...
Bert MLM
得克特
01-07 2514
Bert MLM(masked language model)是一个很有前景的方向，开个帖子记录下相关的发展思路. MLM小样本学习 这篇论文我没有看，是从苏神的博客学到的，本质上是把MLM应用到文本分类，比如，我们想做一个情感分类，只需要在句子前面加上前缀“——满意”，填充的内容包括“很”和“不”，这样就可以把情感分类转化为mask填充问题。具体的训练称之为Pattern-Exploiting Training，训练方式采用半监督（大量无监督的样本+少量标签样本），效果很可观。 必须要GPT3吗？不，BE
Bert预训练任务-MLM/NSP
u012994320的博客
05-22 564
然后再对该位置的MASK进行预测。以上的MLM任务让BERT针对被MASK的token的上下文信息预测目标token。
pytorch版本的bert模型代码(MLM)
vivi_cin的博客
05-11 618
【代码】pytorch版本的bert模型代码(MLM)
[pytorch]——torch.gather(以BERT中的MLM为例)
jokerxsy的博客
05-17 1441
前言 都知道BERT中有MLM的任务，假设此时ENCODER的输出output的大小为: batch_size x max_len x d_model，而对于每一个句子，都有对应的数个被mask掉的单词，所以假设被mask掉的单词下标矩阵大小为:batch_size x mask_num。那么，我们要做的，就是在output的每一个句子中，按照下标，选择mask_num个单词，从而组成:batch_size x mask_num x d_model大小的矩阵，再通过线性层，进行分类。 具体代码如下: mas
BERT预训练的MLM和NSP任务的损失函数都是什么？
2301_79093491的博客
10-30 2166
BERT预训练过程中包括两个主要任务：Masked Language Modeling(MLM) 和 Next Sentence Prediction(NSP)。
BERT代码解析
qq_41898761的博客
05-19 3573
一、bert的原理 1、最核心的一点是：MLM损失函数的计算 什么是MLM损失函数？ 损失函数就是用来表现预测与实际数据的差距程度-----我根据数据预测出一个函数来预测我之后的变化，而损失函数就是L=(Y-f（x）)2，最后计算一个平均损失函数求和的值来表示差距。 MLM损失函数： 这个任务就是将sentence中一些token进行掩盖，模型会输出这些掩盖的token的隐藏状态，将这些隐藏状态输入softmax可以得到候选单词的概率分布，这样根据ground truth就可以计算cross entropy
Bert_train_myself:自己对Bert训练原始码的改编，主要是为了方便随时获得验证集的LOSS值
03-24
Bert_train_myself 自己对Bert训练原始码的改编，主要是为了方便随时获得验证集的LOSS值
bert_MLM模型
浪漫韫秋
10-14 380
MLM是Masked Language Model的缩写，这是一种在自然语言处理（NLP）领域中。输入给模型的一段文本中的某些词。来预测原本被遮盖的词是什么。然后，模型的任务是根据。从而理解语言的复杂性，周围词语的上下文信息。这种预训练方法让模型。
BERT中的MLM和NSP
失眠的树的博客
06-05 2037
*内容：**在一个句子中，随机选中一定百分比（实际是15%）的token，将这些token用"[MASK]“替换。**改进：**在被选中的15%的token中，有80%被替换为"[MASK]"，有10%被替换为一个随机token，有10%保持不变。①、80%的情况下将"hairy"替换为"[MASK]"，即 my dog is hairy -> my dog is [MASK]；一个样本的两个句子用[SEP]隔开，第一个句子的句首加上[CLS]，第二个句子的句尾加上[SEP]。标签：NotNext。
深入理解深度学习——BERT（Bidirectional Encoder Representations from Transformers）：MLM（Masked Language Model）
冯·诺依曼
06-23 1万+
虽然BERT比GPT的训练效率低了很多，但从下图的结果来看，MLM训练方法可以让BERT获得超出同期所有预训练语言模型的语义理解能力，牺牲训练效率是值得的。BERT的作者认为，使用自左向右编码和自右向左编码的单向编码器拼接而成的双向编码器，在性能、参数规模和效率等方面，都不如直接使用深度双向编码器强大，这也是BERT使用Transformer Encoder作为特征提取器，而不使用自左向右编码和自右向左编码的两个Transformer Decoder作为特征提取器的原因。时，参考的上下文中，词。
多模态text-image模型之LM loss （blip）
vivi_cin的博客
04-08 1930
这两个方法构成了整个模型的前向传播过程和生成过程，分别用于模型的训练和推理。其实就是bert的MLM Loss。，用于解码图像和生成文本描述。
Transformer-Bert---散装知识点---mlm，nsp，较之经典tran的区别和实际应用方式
渊兮湛兮
07-22 1546
本文记录的是笔者在了解了transformer结构后嗑bert中记录的一些散装知识点，有时间就会整理收录，希望最后能把transformer一个系列都完整的更新进去。举几个简单的例子来解释一下常见的自监督学习：（ps:插一嘴，bert使用的是mlm，会在最后的例子中解释）被替换的单词：men ： MASK-------------------80%这一问题，我们并不总是用实际的[MASK]标记替换“遮盖”的单词。为了更好的适应下游任务，bert的作者对与MLM的规则进行了一定的微调。
bert在预训练时的两个下游任务详解
热门推荐
Lisen’s blog
03-11 1万+
一直很困惑bert在经过transformer的encoder之后的两个任务是怎么做的。比如： 这两个任务的loss函数是什么？ 拿到encoder输出做了什么？ 很多人都是这么回答的： bert的loss就是下一句预测的分类loss和mask词的预测loss 拿encoder输出直接算loss啊 如果你继续问： 那他们的loss都分别怎么算的？ 相信很多人都讲不出来。下面就详细在这阐...
BERT的MLM任务采用80% 10% 10%的策略的原因
最新发布
qq_41466440的博客
08-01 114
BERT 在预训练的 Masked Language Model（MLM）任务中，采用了 80% MASK + 10% random word + 10% unchanged 的策略，这个设计是 有目的地平衡预训练和下游任务差异，以提升模型泛化能力。
bert预训练mlm任务代码
04-25
首先，我得回顾一下BERT的基本结构，MLM任务的原理。BERT使用Transformer编码器，MLM通过随机遮盖输入中的部分token，让模型预测这些被遮盖的token。用户可能需要具体的代码示例，所以需要找到相关的实现步骤。 接...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值