BERT代码解析

最新推荐文章于 2025-04-17 11:59:13 发布
最新推荐文章于 2025-04-17 11:59:13 发布
阅读量3.5k 收藏 14
点赞数
文章标签： bert 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41898761/article/details/124788100
版权
本文详细解析BERT模型的代码，重点介绍了预处理过程，包括tokenization的BasicTokenizer和WordpieceTokenizer，以及run_classifier.py中的关键步骤。讨论了BERT的预训练和微调部分，解释了DataProcessor、InputExample、InputFeatures等类的作用，特别是如何将数据转化为BERT的输入格式，并利用TPUEstimator进行训练、评估和预测。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、bert的原理
1、最核心的一点是：MLM损失函数的计算

什么是MLM损失函数？
损失函数就是用来表现预测与实际数据的差距程度-----我根据数据预测出一个函数来预测我之后的变化，而损失函数就是L=(Y-f（x）)2，最后计算一个平均损失函数求和的值来表示差距。

MLM损失函数：
这个任务就是将sentence中一些token进行掩盖，模型会输出这些掩盖的token的隐藏状态，将这些隐藏状态输入softmax可以得到候选单词的概率分布，这样根据ground truth就可以计算cross entropy了
在这里插入图片描述
计算mlm损失的时候使用的是那部分数据

2、使用TRM的编码部分

BERT核心目的就是：是把下游具体NLP任务的活逐渐移到预训练产生词向量上

bert的亮点：
1、双向的transformers–同时考虑上下文
2、句子级别的应用
3、适用于不同任务----google已经预预训练好了模型，我们要做的就是根据不同的任务，按照bert的输入要求（后面会看到）输入我们的数据，然后获取输出，在输出层加一层（通常情况下）全连接层就OK啦，整个训练过程就是基于预训练模型的微调

主要分成文本分类，关系抽取等等的句子级别任务和命名实体识别，知识问答等token级别任务

代码解析

最低0.47元/天 解锁文章
BERT源码实现与解读(Pytorch)
iioSnail的博客
09-16 3980
使用nn.Transformer构建BERT模型，并使用样例样本使用MLM任务和NSP任务训练BERT
BERT 原理与代码实例讲解
AI智能涌现深度研究
10-11 1032
BERT, Transformer, 自然语言处理, 预训练语言模型, 序列标注, 文本分类 1. 背景介绍 自然语言处理 (NLP) 领域近年来取得了显著进展，其中预训练语言模型 (PLM) 扮演着越来越重要的角色。BERT (Bidirectional Encoder Representations from Transformer
Bert代码详解（一）
热门推荐
cpluss的博客
03-12 3万+
这是bert的pytorch版本（与tensorflow一样的，这个更简单些，这个看懂了，tf也能看懂），地址：https://github.com/huggingface/pytorch-pretrained-BERT 主要内容在pytorch_pretrained_bert/modeling文件中。 由于这几天要参见计算所复试，超级紧张，所以先把草稿贴在这里，复试过了再加以完善！！！嘤嘤...
BERT代码解读
wangpan007的博客
08-01 5824
文章目录本文框架1. BERT定义2. BERT实现2.1 BERT输入2.1.1 Token Embeddings（input_ids）2.1.2. Segment Embeddings（token_type_ids）2.1.3 Position Embeddings（attention_mask）2.2 预训练2.2.1 获取序列的embeddings2.2.2 利用Transformer对序列进行编码3.我的做法4. 结果5. 下一步打算 本文框架 1. BERT定义 BERT全称Bidirecti
Bert深度解析：代码实操+手撕教程，一文精通BERT核心原理！
最新发布
m0_65555479的博客
04-17 969
在不断发展的自然语言处理（NLP）领域中，一项被称为 BERT 的突破性创新已经崭露头角，成为一场变革的推手。BERT代表双向编码器来自 Transformer 的表示，它不仅仅是机器学习术语浩瀚海洋中的又一个缩写。它代表了机器理解语言方式的转变，使它们能够理解使人类沟通丰富而有意义的复杂细微差异和上下文依赖关系。
BERT源码分析PART II
Kaiyuan_sjtu的博客
05-17 1万+
写在前面 BERT的使用可以分为两个步骤：pre-training和fine-tuning。pre-training的话可以很好地适用于自己特定的任务，但是训练成本很高（four days on 4 to 16 Cloud TPUs），对于大对数从业者而言不太好实现从零开始(from scratch)。不过Google已经发布了各种预训练好的模型可供选择，只需要进行对特定任务的Fine-tunin...
BERT源码解析-#notebook-code
weixin_53162487的博客
03-15 1959
回顾:BERT结构 BERT模型结构基本上就是Transformer的Encoder部分，BERT-base对应的是12层encoder，BERT-large对应的是24层encoder. BERT模型结构 BERT Tokenization 分词模型（BertTokenizer） BERT Model 本体模型（BertModel） BertEmbeddings BertEncoder BertLayer BertAttention BertIntermediate BertOutput
BERT代码逐行逐句详解版（pytorch版本）
zjs975584714的博客
10-08 6442
最近入门BERT，在网上观看了一些网课视频理解了原理，并且找到了pytorch版本的源码，经过一遍阅读有了初步的认知，所以在此记录，温故而知新。 本文所解读的源码链接为：https://github.com/daiwk/BERT-pytorch/tree/master/bert_pytorch 其整体代码框架如下（有些部分我也略有改动，但整体不影响）： 解读一个项目的代码，自然要从main开始，所以我们打开main.py（项目中是__main__.py）后看到首先是对一些路径参数的填写： .
bert源码解析-modeling.py
persistinlife的专栏
10-09 1618
bert源码解析-modeling.py bert是transformer的encoder部分，以google-bert源代码为例。 由两个重要的class组成： 1.BertConfig 大多时候改动的参数并不多，知晓这些参数可以便于推算模型的大小，比如隐藏层大小768 class BertConfig(object): def __init__(self, vocab_size, hidden_size=768,
谷歌最强 NLP 模型 BERT 解读
luoyexuge的专栏
10-28 4851
从elmo-->ULMFiT-->gpt-->bert，大概是这个流程   最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果，这在自然语言处理学界以及工业界都引起了不小的热议。作者通过在33亿文本的语料上训练语言模型，再分别在不同的下游任务上微调，这样的模型在不同的任务均得到了目前为止最好的结果，并且有一些结果相比此前的最佳成绩得到了幅度不小的提升。作...
BERT的代码实现
Hiweir的博客
09-22 1354
由于前馈网络的ffn_num_outputs = num_hiddens,没有初始化传入#__init__()里面的参数，是创建类的时候传入的参数#token_embeddings层#segment_embedding层 (传入两个句子，所以第0维为2)#pos_embedding层 :位置嵌入层是可以学习的, 用nn.Parameter（）定义可学习的参数#设置Encoder_block的数量。
bert模型源码详细解读
boss的博客
04-28 4781
一.bert配置参数解读 bert_config.json { "attention_probs_dropout_prob": 0.1, #乘法attention时，softmax后dropout概率 "directionality": "bidi", "hidden_act": "gelu", # 激活函数 "hidden_dropout_prob": 0.1, #隐藏层dr...
bert代码参考资料
biubiubiu888的博客
01-14 495
unicodedata :          1. unicode字符的标准化:                  https://python3-cookbook.readthedocs.io/zh_CN/latest/c02/p09_normalize_unicode_text_to_regexp.html          2.unicode字符的CJK的含义:            ...
BERT模型具体代码实现
my的博客
12-05 1513
这篇文章简要实现了一个BERT模型
BERT源码分析PART I
Kaiyuan_sjtu的博客
05-16 2万+
写在前面 BERT模型也出来很久了， 之前有看过论文和一些博客对其做了解读：NLP大杀器BERT模型解读，但是一直没有细致地去看源码具体实现。最近有用到就抽时间来仔细看看记录下来，和大家一起讨论。 注意，本系列阅读需要提前对NLP相关知识有所了解，比如attention机制、transformer框架以及python和tensorflow基础等，关于BERT的原理不是本文的重点。 附上关于BERT...
一文彻底搞懂Bert（代码+手撕）
Z4400840的博客
08-16 6711
在不断发展的自然语言处理（NLP）领域中，一项被称为 BERT 的突破性创新已经崭露头角，成为一场变革的推手。BERT代表双向编码器来自 Transformer 的表示，它不仅仅是机器学习术语浩瀚海洋中的又一个缩写。它代表了机器理解语言方式的转变，使它们能够理解使人类沟通丰富而有意义的复杂细微差异和上下文依赖关系。
Bert模型介绍及代码解析（pytorch）
gary101818的博客
04-12 1万+
21.Bert（预训练模型） 动机 基于微调的NLP模型 预训练的模型抽取了足够多的信息 新的任务只需要增加一个简单的输出层 注：bert相当于只有编码器的transformer 基于transformer的改进 每个样本是一个句子对 加入额外的片段嵌入 位置编码可学习 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DwkojOLg-1649776319364)(C:\Users\pc\AppData\Roaming\Typora\typora-user-images
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值