Bert的MLM任务loss原理

最新推荐文章于 2025-05-22 11:02:26 发布
原创 最新推荐文章于 2025-05-22 11:02:26 发布 · 6k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#bert #深度学习 #自然语言处理

BERT的预训练任务包括MLM和NSP，本文主要关注MLM。该任务中，15%的词汇被mask，通过transformer等层编码，然后预测mask位置的词，相当于在词汇表大小的类别上做多分类。logits与one-hot编码的label计算交叉熵，加权平均后得到loss。

         bert预训练有MLM和NSP两个任务，其中MLM是类似于“完形填空”的方式，对一个句子里的15%的词进行mask，通过双向transformer+feedforward+rediual_add+layer_norm完成对每个词的embedding编码，然后对mask的这个词进行预测，预测过程相当于做多分类，类别的个数是词汇的总个数，将mask的词的emb经过MLP变换生成在每个类别词汇上的logits 概率，label是mask位置上真实词在整个词汇上的one-hot编码，将logits和label计算交叉熵，又做了加权平均，即可得出MLM的loss，过程如下：

         源码中的get_masked_lm_output()方法过程解析：

1、输入input_tensor:[batch,maskednums, embed_size]

2、经过线性变换+layernorm:[batch,maskednums, 768]

3、logits：将embedding table[3万,768]作为变换矩阵，计算logits：[batch,maskednums, 3万]，相当于得出每个被盖住词在3万个词上的概率，其实就是3万个类别多分类

4、labels：one-hot编码[maskednums,3万]

5、计算交叉熵：[bactch, maskednums]

6、loss：加权平均得出一个实数</

最低0.47元/天 解锁文章
zcc_0015
关注
BERT系列算法解读
qq_52053775的博客
05-19 1868
从而提高模型在SQuAD、MNLI和SST-2数据集上的性能。总的来看，这些优化措施显著增强了模型的表现。
从零训练模型：BERT模型【任务：①MLM（掩码语言模型）、②NSP（下一句预测）】
u013250861的博客
03-26 2040
第27-32行是分别取BERT模型输出的不同部分来分别进行后续的MLM和NSP任务；第33-43行是根据是否有标签输入来返回不同的输出结果，同时需要注意的是第39行返回的是NSP+MLM两个任务的损失和作为整体模型的损失值；第11-12则是用来判断最后分类层中的权重参数是否复用BERT模型Token Embedding中的权重参数，因为MLM任务最后的预测类别就等于Token Embedding中的各个词，所以最后分类层中的权重参数可以复用Token Embedding中的权重参数[11]。
bert 的MLM框架任务-梯度累积
vivi_cin的博客
05-12 556
【代码】bert 的MLM框架任务。
BERT代码解析
qq_41898761的博客
05-19 3573
一、bert的原理 1、最核心的一点是：MLM损失函数的计算 什么是MLM损失函数？ 损失函数就是用来表现预测与实际数据的差距程度-----我根据数据预测出一个函数来预测我之后的变化，而损失函数就是L=(Y-f（x）)2，最后计算一个平均损失函数求和的值来表示差距。 MLM损失函数： 这个任务就是将sentence中一些token进行掩盖，模型会输出这些掩盖的token的隐藏状态，将这些隐藏状态输入softmax可以得到候选单词的概率分布，这样根据ground truth就可以计算cross entropy
基于的BERT的一些改进模型及思路
triplemeng的博客
01-21 7941
基于的BERT的一些改进模型及思路被遗弃的NSPUnderfitted的BERT数据和批大小的作用Drop掉dropout减少参数的技术嵌入层的参数化方法-- 矩阵分解层间共享参数改头换面的MLM动态掩码ELECTRA再次证明分类任务的优势插入链接与图片如何插入一段漂亮的代码片 BERT的成功主要在于几大因素:超大模型+超大语料；利用Transformer；新的Loss即MLM(Masked La...
Bert MLM
得克特
01-07 2514
Bert MLM(masked language model)是一个很有前景的方向，开个帖子记录下相关的发展思路. MLM小样本学习 这篇论文我没有看，是从苏神的博客学到的，本质上是把MLM应用到文本分类，比如，我们想做一个情感分类，只需要在句子前面加上前缀“——满意”，填充的内容包括“很”和“不”，这样就可以把情感分类转化为mask填充问题。具体的训练称之为Pattern-Exploiting Training，训练方式采用半监督（大量无监督的样本+少量标签样本），效果很可观。 必须要GPT3吗？不，BE
Bert预训练任务-MLM/NSP
最新发布
u012994320的博客
05-22 567
然后再对该位置的MASK进行预测。以上的MLM任务让BERT针对被MASK的token的上下文信息预测目标token。
BERT预训练的MLM和NSP任务的损失函数都是什么？
2301_79093491的博客
10-30 2167
BERT预训练过程中包括两个主要任务：Masked Language Modeling(MLM) 和 Next Sentence Prediction(NSP)。
BERT 预训练学习（数据：样本构建、输入格式；算法：transformer、mlm和nsp任务）
weixin_42357472的博客
12-02 5167
任务：MLM完形填空、下一句预测 数据：构建样本数据及label，输入格式 参考： **https://github.com/DA-southampton/TRM_tutorial/tree/main/BERT%E4%BB%A3%E7%A0%81%E4%BB%8E%E9%9B%B6%E8%A7%A3%E8%AF%BB **https://github.com/bojone/bert4keras/tree/master/pretraining **https://zhuanlan.zhihu.com/p/4
pytorch版本的bert模型代码(MLM)
vivi_cin的博客
05-11 620
【代码】pytorch版本的bert模型代码(MLM)
Bert_train_myself:自己对Bert训练原始码的改编，主要是为了方便随时获得验证集的LOSS值
03-24
Bert_train_myself 自己对Bert训练原始码的改编，主要是为了方便随时获得验证集的LOSS值
[pytorch]——torch.gather(以BERT中的MLM为例)
jokerxsy的博客
05-17 1441
前言 都知道BERT中有MLM的任务，假设此时ENCODER的输出output的大小为: batch_size x max_len x d_model，而对于每一个句子，都有对应的数个被mask掉的单词，所以假设被mask掉的单词下标矩阵大小为:batch_size x mask_num。那么，我们要做的，就是在output的每一个句子中，按照下标，选择mask_num个单词，从而组成:batch_size x mask_num x d_model大小的矩阵，再通过线性层，进行分类。 具体代码如下: mas
bert_MLM模型
浪漫韫秋
10-14 380
MLM是Masked Language Model的缩写，这是一种在自然语言处理（NLP）领域中。输入给模型的一段文本中的某些词。来预测原本被遮盖的词是什么。然后，模型的任务是根据。从而理解语言的复杂性，周围词语的上下文信息。这种预训练方法让模型。
必须要GPT-3吗？不，BERT的MLM模型也能小样本学习
yaohaishen的专栏
03-17 762
©PaperWeekly 原创 ·作者｜苏剑林 单位｜追一科技 研究方向｜NLP、神经网络 大家都知道现在 GPT-3 风头正盛，然而，到处都是 GPT-3、GPT-3 地推，读者是否记得 GPT-3 论文的名字呢？事实上，GPT-3 的论文叫做Language Models are Few-Shot Learners[1]，标题里边已经没有 G、P、T 几个单词了，只不过它跟开始的 GPT 是一脉相承的，因此还是以 GPT 称呼它。 顾名思义，GPT-3 主打的是 Few-Shot L...
BERT中的MLM和NSP
失眠的树的博客
06-05 2038
*内容：**在一个句子中，随机选中一定百分比（实际是15%）的token，将这些token用"[MASK]“替换。**改进：**在被选中的15%的token中，有80%被替换为"[MASK]"，有10%被替换为一个随机token，有10%保持不变。①、80%的情况下将"hairy"替换为"[MASK]"，即 my dog is hairy -> my dog is [MASK]；一个样本的两个句子用[SEP]隔开，第一个句子的句首加上[CLS]，第二个句子的句尾加上[SEP]。标签：NotNext。
深入理解深度学习——BERT（Bidirectional Encoder Representations from Transformers）：MLM（Masked Language Model）
热门推荐
冯·诺依曼
06-23 1万+
虽然BERT比GPT的训练效率低了很多，但从下图的结果来看，MLM训练方法可以让BERT获得超出同期所有预训练语言模型的语义理解能力，牺牲训练效率是值得的。BERT的作者认为，使用自左向右编码和自右向左编码的单向编码器拼接而成的双向编码器，在性能、参数规模和效率等方面，都不如直接使用深度双向编码器强大，这也是BERT使用Transformer Encoder作为特征提取器，而不使用自左向右编码和自右向左编码的两个Transformer Decoder作为特征提取器的原因。时，参考的上下文中，词。
多模态text-image模型之LM loss （blip）
vivi_cin的博客
04-08 1931
这两个方法构成了整个模型的前向传播过程和生成过程，分别用于模型的训练和推理。其实就是bert的MLM Loss。，用于解码图像和生成文本描述。
Transformer-Bert---散装知识点---mlm，nsp，较之经典tran的区别和实际应用方式
渊兮湛兮
07-22 1546
本文记录的是笔者在了解了transformer结构后嗑bert中记录的一些散装知识点，有时间就会整理收录，希望最后能把transformer一个系列都完整的更新进去。举几个简单的例子来解释一下常见的自监督学习：（ps:插一嘴，bert使用的是mlm，会在最后的例子中解释）被替换的单词：men ： MASK-------------------80%这一问题，我们并不总是用实际的[MASK]标记替换“遮盖”的单词。为了更好的适应下游任务，bert的作者对与MLM的规则进行了一定的微调。
bert预训练mlm任务代码
04-25
<think>好的，我现在需要帮助用户查找关于BERT预训练中MLM任务的代码实现。首先，我得回顾一下BERT的基本结构，MLM任务的原理。BERT使用Transformer编码器，MLM通过随机遮盖输入中的部分token，让模型预测这些被遮盖的token。用户可能需要具体的代码示例，所以需要找到相关的实现步骤。 接下来，我应该考虑用户可能的背景。他们可能对BERT有一定了解，但需要具体的代码指导。可能需要包括数据预处理、模型结构、遮盖策略和训练循环等部分。用户提供的引用中提到了预训练的数据来源和步骤，但代码部分没有直接给出，所以需要根据这些信息来构造示例。 我需要确保代码正确，使用PyTorch或TensorFlow框架？用户没有指定，但通常BERT的实现较多使用PyTorch，比如HuggingFace的Transformers库。但用户可能想要从头实现的代码，还是使用现有库？假设用户需要基础的实现，可能使用PyTorch，并简要说明关键部分。 然后，考虑数据预处理部分，引用中提到使用文档级语料库，比如BooksCorpus和Wikipedia。代码中需要展示如何对文本进行分词、添加特殊标记（[CLS]、[SEP]）、生成注意力掩码等。遮盖策略方面，通常随机选择15%的token，其中80%替换为[MASK]，10%随机替换，10%保持不变。 模型结构方面，需要构建Transformer编码器层，包括多头自注意力和前馈网络。损失函数使用交叉熵，只计算被遮盖位置的损失。 可能还需要考虑如何生成训练样本，比如使用DataLoader，以及训练循环中的优化器设置。不过代码示例不宜过于复杂，应突出重点部分，如遮盖机制和模型预测部分。 同时，需要提醒用户实际应用中可能需要分布式训练、大规模数据预处理等，建议参考HuggingFace的库。可能用户的需求是实际项目中的预训练，所以给出示例后，推荐现有库可以节省时间。 最后，检查代码是否符合LaTeX格式要求，数学公式是否正确使用$...$，独立公式用$$...$$。确保回答结构清晰，分步骤说明，并生成相关问题。</think>BERT的MLM任务实现可分为数据预处理、遮蔽策略、模型结构三个核心部分。以下是基于PyTorch的关键代码实现： ### 1. 数据预处理 ```python from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') text = "The quick brown fox jumps over the lazy dog." # 编码时自动添加[CLS]和[SEP] encoded = tokenizer.encode_plus( text, max_length=128, padding='max_length', truncation=True, return_tensors='pt' ) ``` ### 2. 遮蔽策略实现 ```python import torch import random def mask_inputs(input_ids, tokenizer, mask_prob=0.15): labels = input_ids.clone() # 创建随机遮蔽矩阵（15%概率） prob_matrix = torch.full(labels.shape, mask_prob) masked_indices = torch.bernoulli(prob_matrix).bool() # 保留特殊token([CLS],[SEP])不被遮蔽 special_tokens_mask = torch.tensor( [tokenizer.get_special_tokens_mask(val, already_has_special_tokens=True) for val in labels.tolist()], dtype=torch.bool ) masked_indices = masked_indices & ~special_tokens_mask # 80%替换为[MASK], 10%随机替换, 10%保持不变 replace_mask = torch.bernoulli(torch.full(labels.shape, 0.8)).bool() & masked_indices input_ids[replace_mask] = tokenizer.mask_token_id random_mask = torch.bernoulli(torch.full(labels.shape, 0.5)).bool() & masked_indices & ~replace_mask random_words = torch.randint(len(tokenizer), labels.shape, dtype=torch.long) input_ids[random_mask] = random_words[random_mask] return input_ids, labels masked_input, labels = mask_inputs(encoded['input_ids'], tokenizer) ``` ### 3. 模型结构关键组件 ```python import torch.nn as nn class BertMLM(nn.Module): def __init__(self, vocab_size, hidden_size=768, num_layers=12): super().__init__() self.embedding = nn.Embedding(vocab_size, hidden_size) encoder_layer = nn.TransformerEncoderLayer(hidden_size, num_heads=12) self.encoder = nn.TransformerEncoder(encoder_layer, num_layers) self.lm_head = nn.Linear(hidden_size, vocab_size) def forward(self, input_ids): x = self.embedding(input_ids) encoded = self.encoder(x) logits = self.lm_head(encoded) return logits model = BertMLM(len(tokenizer.vocab)) loss_fn = nn.CrossEntropyLoss(ignore_index=-100) # 训练步骤 optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4) logits = model(masked_input) loss = loss_fn(logits.view(-1, len(tokenizer.vocab)), labels.view(-1)) loss.backward() optimizer.step() ``` 关键数学原理： - 遮蔽概率计算：$P(mask) = 0.15$，其中$80\% \rightarrow [MASK]$，$10\% \rightarrow random$，$10\% \rightarrow original$ - 损失函数：交叉熵损失$L = -\sum_{i \in masked} y_i \log(p_i)$，仅计算遮蔽位置的损失[^3] 实际工业级实现建议： 1. 使用HuggingFace Transformers库的`BertForMaskedLM` 2. 采用动态遮蔽策略（每次epoch重新生成遮蔽模式） 3. 结合NSP（下一句预测）任务进行联合训练 4. 使用FP16混合精度训练加速 ```python # 使用HuggingFace实现 from transformers import BertForMaskedLM, DataCollatorForLanguageModeling model = BertForMaskedLM.from_pretrained('bert-base-uncased') data_collator = DataCollatorForLanguageModeling( tokenizer=tokenizer, mlm=True, mlm_probability=0.15 ) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值