【动手学深度学习v2】预训练—1 BERT

已于 2022-09-01 21:48:17 修改
阅读量430 收藏
点赞数
分类专栏： DeepLearning 文章标签： 深度学习 bert 自然语言处理
于 2022-08-29 16:32:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43650171/article/details/126585266
版权

BERT

NLP迁移学习

  • 使用预训练好的模型来抽取词、句子的特征（word2vec/语言模型）
  • 不更新预训练好的模型
  • 构建新的网络抓取新任务需要的信息
    （预训练抽取底层特征作为embedding，word2vec忽略时序信息，语言模型也只看了一个方向）

BERT的动机

  • 基于微调的NLP模型，参考CV
  • 预训练模型抽取足够多的信息
  • 新的任务只需增加一个简单的输出层 output layer

BERT架构

  • 只有编码器的Transformer
  • Base：#blocks=12, hidden size=768, #heads=12, #parameters=110M
  • Large: #blocks=24, hidden size=1024, #heads=16, #parameters=340M
  • 在大规模数据上训练（wiki pedia+一些书），用了>3B词

BERT相对于Transformer的创新

对输入的修改

bert input

  • Input：每个样本是一个句子对；<cls> classification作为句子对开头，<sep> seperate两个句子中间和结尾
  • Token Embeddings：词嵌入
  • Segment Embeddings：e_A和e_B来区分两个句子，e_A是0，e_B是1
  • Position Embeddings：是可学习的

预训练任务1：带掩码的语言模型

做一个通用的任务，使得在这个任务上学习到的信息可应用到其他任务。NLP中最通用的任务是语言模型，即根据一个词预测下一个词，但对于BERT，Transformer的encoder是双向的，标准LM（语言模型）要求单向；

改进：带掩码的LM每次随机（15%概率）将一些词元换成<mask>【完形填空】

在微调任务中没有<mask>，为了使得对<mask>不那么敏感，如下操作：

  • 80%概率将选中词元变成<mask>
  • 10%换成随机词元
  • 10%保持原有词元

预训练任务2：下一句子预测

预测一个句子对中两个句子是不是相邻
训练样本中：

  • 正样本：50%概率选择相邻句子对 <cls> this movie is great <sep> like it <sep>
  • 负样本：50%概率选择随机句子对 <cls> this movie is great <sep> hello world<sep>

将<cls>对应的输出放到一个全连接来预测，预测是否相邻

总结

BERT针对微调设计，在大文本上训练模型，把输出层改一改
基于Transformer的Encoder做了如下修改：

  • 模型更大，训练数据更多，1B词
  • 输入句子对，片段嵌入（segment embedding），可学习的位置编码
  • 训练时使用两个任务：带掩码的语言模型，预测句子是否相邻
【NLP】第3章 微调 BERT 模型
sikh_0529的博客
09-25 9737
但是基于 BERT 预训练模型的训练参数生成多任务微调模型是非同寻常的。掩码标记（隐藏要预测的标记）位于编码器的注意力层中，正如我们将在以下部分中放大 BERT 编码器层时看到的那样。我们探索了 BERT 的架构，它只使用了转换器的编码器堆栈。我们将微调一个 BERT 模型，该模型将确定一个句子的语法可接受性。换句话说，编码器的自注意力掩码可以完成这项工作，而不会受到解码器的掩码多头注意力子层的阻碍。在这次对 BERT 模型微调的最终正面评价上，我们对 BERT 训练框架有了一个整体的认识。
区别探索：掩码语言模型 (MLM) 和因果语言模型 (CLM)的区别
强化学习曾小健
06-23 6521
预训练的目标是利用大量未标记的文本并构建语言理解的通用模型，然后针对各种特定的 NLP 任务（例如机器翻译、文本摘要等）进行微调。例如 - Alpha=1 会给周围的单词赋予相同的权重（这意味着每个单词都将具有相同的权重）对学习到的 MASK 表示的贡献）。在屏蔽语言模型下，我们通常屏蔽给定句子中一定比例的单词，并且模型预计会根据该句子中的其他单词来。另外，直观上这是有道理的，因为在学习每个单词的良好输入表示时，您会想知道。的分布，您可以权衡每个其他输入单词的表示，以学习屏蔽单词的表示，
李沐动手学深度学习V2-BERT预训练和代码实现
flyingluohaipeng的博客
08-02 2645
利用中实现的BERT模型和中从WikiText-2数据集生成的预训练样本，下面在WikiText-2数据集上对BERT进行预训练。首先，加载WikiText-2数据集作为小批量的预训练样本，用于遮蔽语言模型和下一句预测。批量大小是512，BERT输入序列的最大长度是64。注意在原始BERT模型中，最大长度是512。............
bert 预训练模型的使用（pytorch）
weixin_41318625的博客
03-15 3897
import numpy as np import torch from transformers import BertTokenizer, BertConfig, BertForMaskedLM, BertForNextSentencePrediction from transformers import BertModel model_name = 'bert-base-chinese' MODEL_PATH = 'F:/Transformer-Bert/bert-base-chinese/'
使用python代码修改预训练语言模型的结构
qq_37977007的博客
12-03 403
主要以BERT模型介绍如何修改预训练语言模型的结构信息。
机器学习&&深度学习——BERT（来自transformer的双向编码器表示）
m0_52380556的博客
08-19 939
机器学习&&深度学习——BERT（来自transformer的双向编码器表示）
BERT模型的优化改进方法！
Datawhale
05-25 1864
Datawhale干货来源：Coggle数据科学本文为论文《BERT模型的主要优化改进方法研究综述》的阅读笔记，对 BERT主要优化改进方法进行了研究梳理。BERT基础BERT是由Google AI于2018年10月提出的一种基于深度学习的语言表示模型。BERT 发布时，在11种不同的NLP测试任务中取得最佳效果，NLP领域近期重要的研究成果。BERT基础BERT主要...
BERT模型—2.BERT模型预训练与微调
柳杰的博客
07-21 1万+
文章目录引言一、预训练语言模型1.为什么要进行预训练？ 引言   本节将按照思维导图逐步了解BERT语言模型（基于transformer的网络结构）。 一、预训练语言模型   大规模的预训练语言模型的模型参数量呈几何倍数的增长趋势。下面我们了解BERT预训练的原理。 1.为什么要进行预训练？   基于词向量的预训练方式并不是在BERT中首次出现。 ...
使用BERT预训练模型+微调进行文本分类
weixin_30836759的博客
08-20 4511
本文记录使用BERT预训练模型，修改最顶层softmax层，微调几个epoch，进行文本分类任务。 BERT源码 首先BERT源码来自谷歌官方tensorflow版：https://github.com/google-research/bert 注意，这是tensorflow 1.x 版本的。 BERT预训练模型 预训练模型采用哈工大讯飞联合实验室推出的WWM（Whole...
文本分类实战（十）—— BERT 预训练模型
张伟的专栏
06-20 2248
1 大纲概述 　　文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： 　　word2vec预训练词向量 　　textCNN 模型 　　charCNN 模型 　　Bi-LSTM 模型 　　Bi-LSTM + Attention 模型 　　RCNN 模型 　　Adversarial LSTM 模型 　　Transformer 模型 　　ELMo 预训练模型 　　BERT 预训练模型 ...
【NLP】第 3 章 ：BERT
sikh_0529的博客
02-09 5472
在本章中，您将学习由 Google 开发的 Transformer 架构的实现之一，称为 BERT。Google AI Language 的研究人员最近所做的工作导致发表了一篇名为“BERT（来自变形金刚的双向编码器表示）”的论文。BERT取得的最重要的技术进步是将流行的注意力模型Transformer的双向训练 应用于语言建模。根据语言模型的研究结果，与仅在一个方向上训练的模型相比，同时在两个方向上训练的语言模型能够更好地了解语言的流动和上下文。
NLP最著名的Bert语言模型详细解读
敷衍zgf的博客
10-26 2805
NLP最著名的Bert语言模型详细解读
MAE 论文逐段精读【论文精读】（深度学习论文篇）
qq_42014059的博客
12-22 5547
源于沐神：MAE 论文逐段精读【论文精读】 (bilibili.com) MAE 2021.11.11提交 arxiv 知乎 百万 view; Reddit or Twitter 讨论不多 MAE 很新 --> 如何在读比较新的文章 获取一些新的研究思路？ 和之前精读论文的关系？ Transformer 一个纯基于注意力机制的编码器和解码器 表现比 RNN 架构好，在机器翻译任务 BERT 使用 一个 Transfor...
BERT学习笔记
scar2016的博客
03-04 279
文章目录1. NLP里的迁移学习2. BERT的动机3. BERT架构4. BERT细节4.1 对输入的修改4.2 预训练任务1：带掩码的语言模型4.3 预训练任务2：下一句子预测4.4 小结 1. NLP里的迁移学习 使用预训练好的模型来抽取词，句子的特征；例如word2vec或语言模型 不更新预训练好的模型 需要构建新的网络来抓取新任务需要的信息 word2vec忽略了时序信息，语言模型只看了一个方向 2. BERT的动机 基于微调的NLP模型 预训练的模型抽取了足够多的信息 新的任务只需要增加一
图解当前最强语言模型BERT：NLP是如何攻克迁移学习的？
01-05 1633
前段时间，谷歌发布了基于双向 Transformer 的大规模预训练语言模型 BERT，该预训练模型能高效抽取文本信息并应用于各种 NLP 任务，该研究凭借预训练模型刷新了 11 项 NLP 任务的当前最优性能记录。技术博主 Jay Alammar 近日发文通过图解方式生动地讲解了 BERT 的架构和方法基础。2018 年是机器学习模型处理文本（更准确地说是自然语言处理，简称 NLP）的一个转折点...
掩码语言模型(Masked Language Model)mlm
热门推荐
kyle1314608的博客
05-10 2万+
发布小助手 发表于：2020-4-15 20:48:40120次点击关注 私信 发送私信 您没有权限发布私信掩码语言模型(Masked Language Model) 深度学习 — > NLP — >Improving Language Understanding by Generative Pre-Traininghttps://zhuanlan.zhihu.com/p/44121378 https://zhuanlan.zhihu.com/p/32544778 https://blog.c
Python实现P-PSO优化算法优化循环神经网络LSTM分类模型项目实战
最新发布
张陈亚的博客
05-31 909
【摘要】本项目提出一种基于改进粒子群算法(P-PSO)优化LSTM神经网络的分类模型。针对传统LSTM训练中易陷入局部最优等问题，采用带压缩因子的PSO算法优化网络初始参数，提升模型性能。实验使用包含10个特征和2000条样本的数据集，经过数据预处理和探索性分析后，构建P-PSO-LSTM模型。结果表明，优化后的模型在测试集上准确率达95%，F1分数为0.9533，显著优于基准模型。该方法有效解决了LSTM训练过程中的参数敏感问题，为序列分类任务提供了可靠解决方案。完整数据和代码可通过文末方式获取。
深度学习教学目录
FJN110的博客
05-30 637
深度学习课程：面向计算机视觉、深度学习小白，本产品包含但不限于以下文档 一、环境配置详解，全平台支持 提供Windows、Linux、树莓派、瑞芯微板（RK）等多平台下的PyTorch与TensorFlow环境配置教程，图文并茂，细致入微，确保每一位学习者都能顺利完成环境搭建。 同时，文档中还详细讲解了服务器部署、AI大模型运行、Docker容器配置、VNC远程连接等高级内容，适用于科研和生产环境。
【专题】深度学习期末复习资料（题库）
Pqf18064375973的博客
05-30 470
深度学习期末复习资料（题库）
BEVT：视频Transformer的预训练新方法
他们的研究表明，BEVT不仅能够有效地利用现有图像数据的预训练知识，还能在时间和空间信息上进行深度学习，从而在视频理解任务中展现出强大的潜力。源代码已开源，可供进一步研究和实践。 BEVT是一种创新的视频...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值