在bert的基础模型上训练自己的数据（只是过程源码解析后面更新）

最新推荐文章于 2024-06-18 09:37:19 发布
原创 最新推荐文章于 2024-06-18 09:37:19 发布 · 4.8k 阅读 · 38 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tensorflow #自然语言处理

本文详细介绍如何从GitHub下载BERT源码及模型，准备中文数据，利用create_pretraining_data.py进行数据预处理，最后通过run_pretraining.py运行预训练，是BERT模型训练的实用教程。

1.第一步
从github上下载bert的源码链接，并且下载BERT模型链接
2.第二步
准备数据中文数据样式如图所示：
每一句话旧的换行显示
（每一句话一行）
3.第三步
使用bert/create_pretraining_data.py来做数据的预处理
主要是修改改文件的FLAGS.参数即可
在这里插入图片描述

4.第四步
运行bert/run_pretraining.py 同样只要修改FLAGS.参数 即可
在这里插入图片描述

到这就可以了

从头开始训练 BERT 的终极指南，揭秘 BERT：改变 NLP 格局的模型的定义和各种应用
iCloudEnd的博客
09-05 349
BERT 全称为 Bi Direction Encoder Representations from Transformers，是 Google 于 2018 年开发的革命性自然语言处理 (NLP) 模型（Michael Rupe，Google BERT 更新如何改变了关键字研究）。它的推出标志着该领域的重大进步，为各种 NLP 任务设定了新的最先进基准。对于许多人来说，这被视为该领域的 ImageNet 时刻。BERT 经过大量数据的预训练，其目标只有一个：理解什么是语言以及文档中上下文的含义是什么。
BERT源码实现与解读(Pytorch)
iioSnail的博客
09-16 4140
使用nn.Transformer构建BERT模型，并使用样例样本使用MLM任务和NSP任务训练BERT
李沐动手学深度学习V2-BERT预训练和代码实现
flyingluohaipeng的博客
08-02 2781
利用中实现的BERT模型和中从WikiText-2数据集生成的预训练样本，下面在WikiText-2数据集上对BERT进行预训练。首先，加载WikiText-2数据集作为小批量的预训练样本，用于遮蔽语言模型和下一句预测。批量大小是512，BERT输入序列的最大长度是64。注意在原始BERT模型中，最大长度是512。............
基于BERT的中文情感分析实战
Mrrunsen的博客
05-08 2558
基于BERT的中文情感分析实战
使用自己的数据再训练BERT
bayou3的博客
08-15 1万+
Though the pre-trained model is good enough, you may still want to tune the pre-trained model offered by Google on your own domain-specific corpus for several additional epochs. That is, give your Ber...
在自己的数据集上重新训练BERT（附代码）
热门推荐
qq_36618444的博客
05-26 1万+
最近有需要在新的领域进一步训练BERT，因此参照了hugging face官方文档写了相应的代码。本文采用的是hugging face提供的checkpoint，并在相应的task special领域进行了微调。由于项目的保密协议代码数据不便全部公开，下面只给出关键的部分。 BERT MLM 重新训练BERT主要是在自己的数据集上实现Masked Language Model的预测任务。我忘记了在哪篇论文里看到Next Sentence Prediction对下游的任务的增益其实并不大（如果有误还请指出），
BERT源码解读，详细写记录从零实现BERT模型
weixin_45169380的博客
04-28 4482
BERT代码(源码)从零解读【Pytorch-手把手教你从零实现一个BERT源码模型】_哔哩哔哩_bilibili 讲解视频如上，记录是为自己更好的学习的笔记和方便后面复习。 1、参数设置 max-pred一个句子中最大可以预测多少个token n-layer由多少个encoder进行堆叠，一般base有12个，large有24个 n_head多少个头 d_ff 前馈神经网络的维度 d_k,d_v 是Q,K维度的大小，两个必须维度一致 n_segment 是二分类任务中，区分多少不同句子 .
bert源码详解及相关问题回答
qq_29837229的博客
05-29 1242
1.构建layer层，12个layer层，每个layer层是一个transformer层的encoder部分。2.forward函数，这个函数做的就是每一个encoder的输出接到下一个encoder的输入，这样讲全部encoder连接起来。output_all_encoded_layers控制输出模式。
BERT代码解析
qq_41898761的博客
05-19 3573
一、bert的原理 1、最核心的一点是：MLM损失函数的计算 什么是MLM损失函数？ 损失函数就是用来表现预测与实际数据的差距程度-----我根据数据预测出一个函数来预测我之后的变化，而损失函数就是L=(Y-f（x）)2，最后计算一个平均损失函数求和的值来表示差距。 MLM损失函数： 这个任务就是将sentence中一些token进行掩盖，模型会输出这些掩盖的token的隐藏状态，将这些隐藏状态输入softmax可以得到候选单词的概率分布，这样根据ground truth就可以计算cross entropy
BERT模型解读
lppfwl的博客
11-04 1766
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 2019年goole AI发表的文章，附上原文：https://paperswithcode.com/method/bert pytorch版本代码：https://github.com/huggingface/transformers/tree/master/src/transformers/models/bert BERT名字由来: Bidir
BERT 预训练PTM数据样本简单构建认识
weixin_42357472的博客
07-23 668
参考：https://www.cnblogs.com/little-horse/p/14622047.html BERT 预训练PTM任务 1.MLM(masked lm)：带mask的语言模型 2.NSP(next sentence prediction)：是否为下一句话 BERT输入主要包括三部分： 1.字的token embeddings 2.句子的segment embedding 3.句子位置的position embeddings 代码处理生成样本数据案例 1、词表生成（其实是字表
BERT+使用transformers库加载自己数据集做BERT预训练（普通方式+TrainerAPI）
weixin_40982849的博客
10-26 8297
Word Embedding 在NLP任务中，我们需要对文本进行编码，使之成为计算机可以读懂的语言。在编码时，我们期望句子之间保持词语间的相似性。word embedding做的事情就是把一个词映射到低维的稠密空间，切语义相近的词向量离得比较近。 ...
如何用自己的数据集进行bert预训练
ZJF的博客
07-22 9385
本实验在colab环境下进行
李沐动手学深度学习V2-bert预训练数据集和代码实现
flyingluohaipeng的博客
08-02 4580
为了预训练前一篇实现的BERT模型，我们需要使用数据集用于训练这两个预训练任务遮蔽语言模型和下一句预测。一方面最初的BERT模型是在两个庞大的图书语料库和英语维基百科的合集上预训练的。另一方面现成的预训练BERT模型可能不适合医学等特定领域的应用。因此在定制的数据集上对BERT进行预训练变得越来越流行，本次使用了较小的语料库WikiText-2，来对BERT进行预训练。与用于预训练word2vec的PTB数据集相比，WikiText-2（1）保留了原来的标点符号，适合于下一句预测；.............
tensorflow BERT学习记录--使用自己的训练集--run_classifier.py
ygfrancois的博客
01-25 1万+
tensorflow bert github上有tensorflow bert的源代码和预训练模型的下载链接 该仓库里的run_classifier.py 用于fine-tuning以及推理,官方的BERT库里,只需要修改run_classifier.py即可完成对新数据集的fine-tuning和推理, 该文件里的代码主要是以下几块: 训练参数Flags的定义, 没什么好说的, 官方...
Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试（一）
chenmingwei000的博客
12-15 4236
Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试## 标题 数据预处理解析 1.1 create_pretraining_data.py 解析 首先，albert还是利用了bert的训练方法，所以数据处理非常相似，除了利用全词模式的更改；本文章只针对代码进行解析；代码在github搜索就能得到 作者提供了一个样例数据，这样的话，其实是非常让用户方便的进行自己数...
Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试（二）
chenmingwei000的博客
12-19 2531
`Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试## 标题（二） 上一张讲解了怎么构造预训练的数据，这一章讲解训练过程，一起探讨与bert的区别 1.2 run_pretraining.py 的讲解 我们仍然采用debug模式进行 bert_config = modeling.BertConfig.from_json_file(FLAGS.bert_confi...
在bert上使用领域的数据集继续预训练
samoyan的博客,记录技术成长~
11-25 3531
1、下载bert或者roberta的源码以及开源的预训练模型 https://github.com/brightmart/roberta_zh 2、准备好自己的领域数据 格式是：一行一句话，多个文本之间使用空行隔开 为了解决这个问题，很自然的想法就是词作为一个整体要么都 Mask 要么都不 Mask，这就是所谓的 Whole Word Masking。 这是一个很简单的想法，对于 BERT 的代码修改也非常少，只是修改一些 Mask 的那段代码。对于英文来说，分词是一个（相对）简单的问题。 哈工大
探索自我训练的BERT模型：Pretraining-Yourself-Bert-From-Scratch
最新发布
gitblog_00040的博客
06-18 456
探索自我训练的BERT模型：Pretraining-Yourself-Bert-From-Scratch 在这个信息爆炸的时代，预训练模型如BERT已经成为自然语言处理领域的基石。Google的预训练BERT模型通常能满足大部分需求，然而，当面临特定领域或数据集时，你可能需要一个定制化的解决方案。这就引出了我们今天的主角——Pretraining-Yourself-Bert-From-Scratc...
BERT文本纠错模型源码及数据集深度解析
资源摘要信息:"本资源包是一个以BERT模型为基础的文本纠错项目，包含了项目所需的源码、项目说明文档、数据集以及详细的注释。该项目适合计算机、数学、电子信息等专业的学生作为课程设计、期末大作业或毕业设计的...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值