Re63：读论文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT预训练模型：深度双向Transformer在语言理解中的应用与实验
最新推荐文章于 2025-03-17 12:00:00 发布
原创 最新推荐文章于 2025-03-17 12:00:00 发布 · 1k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#bert #人工智能 #深度学习 #LLM #大规模预训练语言模型 #大模型 #自然语言处理

本文介绍了BERT模型，一种预训练的深度双向Transformer，用于语言理解和多种任务的微调。文章探讨了BERT的结构、预训练目标（MLM和NSP）、以及在文本分类、抽取式QA和常识推理任务中的性能。

诸神缄默不语-个人优快云博文目录
诸神缄默不语的论文阅读笔记和分类

论文全名：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
ArXiv下载地址：https://arxiv.org/abs/1810.04805

官方GitHub项目：google-research/bert: TensorFlow code and pre-trained models for BERT

本文是2019年NAACL论文。提出了BERT……别的背景懒得介绍了。

Transformer基础可参考我撰写的博文：Transformer原理纯享版

调用BERT的代码我写过好几篇博文了，看目录吧。
原版BERT是英文模型，但是现在有很多语言的BERT模型了。

文章目录

1. 背景

当时的预训练模型已经取得了显著成效。分为两种：

  1. feature-based
    ELMo
    用预训练表征作为特征，对不同的任务使用不同的模型结构
  2. fine-tuning
    OpenAI GPT（Re45：读论文 GPT-1 Improving Language Understanding by Generative Pre-Training）
    模型包含少量task-specific（就是你看图能发现GPT-1的下游任务微调还是有点复杂，不能像BERT、GPT-2这样一个模型干一切，就只换个输出头（T5和GPT-3都不换了））。在下游任务微调所有参数

这两种模型预训练时的损失函数都是单向语言模型，学习生成式语言表征。总之本文写了一些作者觉得这种方法的不好之处，GPT只用到前文表征，ELMo只对2个反向的、分别训练的单向LM的表征结合起来（BERT不采用类似的结构，因为缺点：1. 代价高 2. 对QA不直觉 3. 表现力不够）。

预训练语言模型表示向量：

  1. 无监督基于特征（（非）基于神经网络）的词向量→粒度更粗的表征
    ElMo  context2vec  maskgan
  2. 无监督基于微调
    GPT-1
  3. 从有监督数据迁移学习（经典ImageNet）

BERT生成的token表征是动态的。它共享/迁移的是模型的架构和参数/权重。

2. BERT整体结构

在这里插入图片描述

在这里插入图片描述

BERT可以获取双向的上下文信息，只需要在预训练模型的基础上接一个输出头就可以应用于不同的任务。

预训练 + 微调 范式
预训练损失函数是平均MLM似然的总和 + NSP似然的平均值

模型是多层双向Transformer encoder

L：Transformer block数
H：隐藏层维度
A：attention头数
BERT BASE _{\text{BASE}} BASE​ L=12, H=768, A=12, Total Parameters=110M
BERT LARGE _{\text{LARGE}} LARGE​ L=24, H=1024, A=16, Total Parameters=340M
当年这个世界多么淳朴，大模型只有340M……

太常识的东西我就不写了。

2.1 输入/输出表征

分词：WordPiece

输入sequence
可以是一个sentence或者一个sentence对

开始：[CLS] 用于序列分类任务

句子对分隔符：[SEP]
并增加可学习的segment embedding：来区分每一个token属于哪个句子（transformers包中的token_type_ids入参）

广义来说所有输入都是句子对，如果输入单一句子（用于做文本分类或序列标注）可以视为degenerate text-∅ pair

输入表征由三部分加总：
在这里插入图片描述

输出中，token表征接输出层解决token-level任务，[CLS]表征接输出层解决序列分类任务（蕴含任务、情感分析等）

在这里插入图片描述

2.2 预训练目标：MLM

masked language model

完形填空 / Cloze task

随机选择15% token，[MASK] 80% 预测原token，10%随机替换成别的token，10%不变

2.3 预训练目标：NSP

next sentence prediction

用[CLS]表征做二元分类任务

理解句子对之间的关系

3. 实验

实验在多个任务上进行，整体表现都挺好的，我懒得详写了。

文本分类任务

在这里插入图片描述

抽取式QA

在这里插入图片描述

引入 S S S 和 E E E 选出概率最大的 start / end token 位置：在这里插入图片描述
span得分：在这里插入图片描述
选择所有 j ≥ i j≥i j≥i的span中得分最高的座位预测结果。
训练目标函数是 start / end token 位置对数似然和。

非抽取式QA也用抽取式方案硬上：
在这里插入图片描述

常识推理 / 多选题

在这里插入图片描述

给出4个由given sentence和possible continuation联接成的sequence，用共同vector与[CLS]表征点积→softmax得到选项得分

消融实验

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

模型尺寸的影响

在这里插入图片描述

Feature-based Approach with BERT

在这里插入图片描述
直接用BERT输出作为表征来训练Bi-LSTM。
直接用BERT时，用第一个sub-token的表征作为整个token的表征。

参考资料

  1. BERT论文翻译_bert 论文中文-优快云博客
论文笔记：BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
Sun_victory的博客
11-15 1873
语言模型预训练已被证明对改善许多自然语言处理任务是有效的，现有有两种策略可以将预先训练好的语言表示应用到下游任务中：基于特征的策略和微调策略。这两种方法在训练前具有相同的目标函数，它们使用单向语言模型来学习一般语言表示。作者认为，目前的技术限制了预训练表示的能力，特别是对于微调方法。主要的限制是标准语言模型是单向的，这限制了在预训练过程中可以使用的架构的选择。在问题回答中，从两个方向合并上下文是至关重要的。
论文解读：BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding
最新发布
qq_51950566的博客
04-26 1284
摘要部分简要介绍了一下这篇文章的主要工作，并直接摆出数据展示了本文工作的效果是非常好的。本文提出了一个叫BERT的语言模型，BERT使用了Transformers双向编码器进行构建，与GPT不同的是，BERT采用双向编码器，在预训练阶段可以学习到上下文信息。（GPT预训练阶段的任务是预测下一词，只使用了上文信息）。在流程上BERT也是预训练微调范式，只需要对预训练的模型进行微笑的调整，就能适应很多种类的下游任务。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
volcan的博客
12-12 1396
局限性：都是单向的，如果要句子分析，情感等，双向的理解更有效。
论文阅读笔记——BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Multiple_x的博客
03-17 1268
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文阅读笔记
BERT（论文阅读）：Pre-training of deep Bidirectional Transformers For Language Understanding
m0_54248968的博客
07-16 1978
首段讲述本文工作对GPT和ELMo做出怎样的改进，第二段是BERT结果怎样好，讲述BERT在NLP（自然语言处理方面）取得了先进的成果，包括绝对精度和相对精度。BERT、GPT和ELMo的区别：GPT使用新的Transformer架构，使用左侧信息来预测未来信息。单项模型的缺点主要是不能获得好的词表示。ELMo通过使用从左到右(LTR)、从右到左(RTL)两个模型的输出拼接获得词的表示，双向信息融合的浅，且由于基于RNN架构，当涉及到下游任务时，需要对架构做出调整。
论文 | BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding
m0_68399475的博客
01-14 890
我们引入了一个新的语言表示模型BERT，它代表Transformers的双向编码器表示。不同于最新的语言表示模型，BERT被设计为通过在所有层中对左右上下文进行联合条件化来从未标记文本预训练深度双向表示。结果，预训练的BERT模型可以仅用一个附加的输出层来微调，以创建用于诸如问题回答和语言推理的广泛任务的最新模型，而无需实质性的任务特定的体系结构修改。BERT结构很简单，但能力却很强大。
BERT:Pre-training of Deep Bidirectional Transformers forLanguage Understanding
靓仔沾点健忘症，写给时间下游的自己
08-26 2418
语言模型预训练已被证明对改善许多自然语言处理任务是有效的(Dai and Le, 2015;其中包括句子级任务，如自然语言推理(Bowman et al.， 2015;Williams等人，2018)和释义(Dolan和Brockett, 2005)，其目的是通过整体分析来预测句子之间的关系，以及分词级任务，如命名实体识别和问答，其中需要模型在分词级别产生细粒度输出(Tjong Kim Sang和De Meulder, 2003;将预训练的语言表示应用于下游任务有两种现有策略:基于特征和微调。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding环境搭建
weixin_50563385的博客
12-27 253
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 运行环境搭建
BERT原理-Pre-training of Deep Bidirectional Transformers for Language Understanding
traveler-leon的博客
03-14 2020
上图就是bert利用了transforemr的编码器结构，从最底层的结构可以看出，E2为原始的单词输入，最中输出的的E2对应的embedding向量T2其实已经综合考虑了上下文信息，因为在神经网络(编码器)内部，信息是交叉，而且特别的是，这个编码器结构恰好实现了和ELMo一样的效果，既能看到单词左边的信息，也能看到单词右边的信息，这就是自注意力的好处。官方虽然没说，但是官方的图展示了，句子的结尾其实也是加的[SEP]，至此所有的规则就讲完了，我先甩个图，然后把设计的所有点总结一下。
[Bert]论文实现：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
bigcrab的博客
12-02 1062
基于Transformer模型的BERT，建立起来很简单；这里代码似乎有问题，需要解答；
BERT： Pre-training of Deep Bidirectional Transformers翻译
09-02
BERT（Bidirectional Encoder Representations from Transformers）是一种深度学习模型，专为语言理解而设计。该模型的创新之处在于其预训练机制，它能够从未标记的文本中学习到深度的双向表示。传统的语言模型往往...
TensorFlow安装教程
热门推荐
诸神缄默不语的博客
05-28 6万+
本文介绍TensorFlow在Linux系统上的安装方法。
cs224w（图机器学习）2021冬季课程学习笔记集合
诸神缄默不语的博客
05-26 5万+
我自己写的cs224w（图机器学习）2021冬季课程笔记的目录
huggingface.transformers安装教程
诸神缄默不语的博客
02-28 5万+
本部分介绍transformers包如何安装，安装后如何检验是否安装成功，以及cache的设置和离线模式如何操作。
60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）学习笔记
诸神缄默不语的博客
04-24 3万+
PyTorch官方教程：60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）的学习笔记。
NetworkX入门教程
诸神缄默不语的博客
05-28 3万+
NetworkX入门教程 NetworkX：Python处理图数据的包
wandb使用教程（持续更新ing...）
诸神缄默不语的博客
05-17 2万+
wandb使用教程
huggingface.datasets无法加载数据集和指标的解决方案
诸神缄默不语的博客
04-08 2万+
解决huggingface的datasets包无法加载数据集的问题
Some weights of the model checkpoint at mypath/bert-base-chinese were not used when initializing Ber
诸神缄默不语的博客
04-05 2万+
Some weights of the model checkpoint at mypath/bert-base-chinese were not used when initializing BertModel: ['cls.seq_relationship.weight', 'cls.predictions.transform.dense.bias', 'cls.seq_relationship.bias', 'cls.predictions.bias', 'cls.predictions.transf
bert论文
03-25
### 关于BERT模型论文下载与阅读 #### BERT模型的核心概念 BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言表示模型[^3]。它通过引入掩码语言模型（Masked Language Model, MLM）和下一句预测任务（Next Sentence Prediction, NSP），实现了深度双向的语言理解能力。 #### 论文获取方式 BERT模型的原始论文由Google Research团队发布，题目为《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。可以通过以下途径获取该论文： 1. **arXiv**: 原始版本通常可以在arXiv网站上找到，地址为 https://arxiv.org/abs/1810.04805。 2. **学术搜索引擎**: 使用Google Scholar或其他学术资源平台搜索“BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”，可以找到PDF链接。 3. **官方文档**: Google AI Blog提供了详细的背景介绍和技术细节[^5]。 #### 阅读建议 为了更好地理解和掌握BERT模型的内容，可以从以下几个方面入手： - **基础理论**: 学习Transformer架构的工作原理以及其在自然语言处理中的应用[^1]。 - **核心创新点**: - 双向语言建模的重要性及其相对于单向模型的优势[^4]。 - 掩码语言模型的具体实现机制。 - **实验部分**: 查看作者如何验证模型的有效性，并了解其在不同NLP任务上的表现提升情况。 以下是Python代码片段用于加载并测试已有的预训练好的BERT模型： ```python from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') text = "Replace me by any text you'd like." encoded_input = tokenizer(text, return_tensors='pt') output = model(**encoded_input) print(output.last_hidden_state) ``` 此脚本展示了如何利用Hugging Face库快速导入标准版的小规模BERT模型来进行实际操作演示。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值