【论文阅读笔记】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

最新推荐文章于 2025-09-12 23:40:37 发布
原创 最新推荐文章于 2025-09-12 23:40:37 发布 · 1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #bert #transformer

BERT模型通过预训练和微调在NLP领域展现出强大性能，其核心在于使用多层双向Transformer编码器。与ELMo（基于RNN）和GPT（基于Transformer解码器）不同，BERT利用 masked language model 和 next sentence prediction 任务，捕捉到语言的双向信息。在预训练阶段，BERT以15%的概率随机替换词元并预测被遮掩的词，而在微调阶段则针对特定任务进行调整。该模型在11项NLP任务上表现出色，并开源了代码，推动了无监督预训练在NLP领域的广泛应用。

BERT的出现使我们终于可以在一个大数据集上训练号一个深的神经网络，应用在很多NLP应用上面。

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

深的双向Transformer

摘要（Abstract）：与别的文章的区别是什么？效果有多好？

  • 与ELMo的区别：ELMo基于RNN，双向，在运用到下游的任务时需要做出一些调整。BERT基于Transformer，只需要改最上层。

  • 与GPT的区别：GPT基于Transformer解码器，单向，用左边的上下文信息预测。BERT基于Transformer编码器双向。

BERT的好处：简单且效果好，在11个NLP任务上都比较好。

引言（Introduction）：语言模型的简单介绍；摘要第一段的扩充；

在使用预训练模型做特征表示的时候，通常有两种策略：

  • 基于特征

    ELMo，对于每一个下游任务，构造一个与之相关的神经网络，RNN架构，将预训练好的（比如一个词嵌入矩阵）作为额外特征一起作为输入，输入到模型里面，达到训练模型比较容易的目的。

    简单来说：这是大多数NLP最常用的使用预训练模型的方法，把学到的特征和输入一起放进去。

  • 基于微调

    GPT，引入了最小的特定于任务的参数，预训练好的参数进行微调

这两种方法在预训练及之后都使用相同的目标函数（GPT也不全是吧），且都使用单向的语言模型进行学习。（预测未来）

Bert主要想法：预测未来---->完形填空，用masked language model，带掩码的语言模型

​ 除此之外，Bert还关注了句子层面的信息：给两个句子，判断这两个句子是不是相邻的。（NSP）

贡献点：双向信息的重要性（句子从左看到右，从右看到左）

​ 在BERT上做微调效果很好

​ 代码开源

结论（Conlusion）：

无监督的预训练很重要（在计算机视觉领域，在没有标签的数据集上做训练比在有标签的数据集上做训练效果会更好）；

最低0.47元/天 解锁文章
论文阅读笔记 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
mohen_777的博客
11-05 177
本文介绍的language representation model就是大名鼎鼎的BERT，其模型结构是利用Transformer的双向Encoder表示。BERT有个明显的特点就是，它通过在所有层的左侧和右侧上下文中共同进行条件预处理，从而在未标记的文本中预训练深层双向表示。和，基于特征的方法，比较典型的就是ELMo，使用特定于任务的架构，其中包括预训练的表示形式作为附加功能。微调的方式，众所周知的是GPT了，这种方式通过引入最少的特定于任务的参数，并通过简单地微调所有预训练的参数来对下游任务进行训练。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understading
Young, Simple, Naive
08-08 2027
BERT 主要是将单向预训练模型扩展到深度**双向**结构，从而刷新 7 项自然语言任务 SOTA.
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
10-17
NLP领域取得最重大突破！谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩。毋庸置疑，BERT模型开启了NLP的新时代！
【六】BERT：Pre-training of Deep Bidirectional Transformers forLanguage Understanding
云淡风轻_的博客
07-17 1684
本课首先解释了预训练模型：是什么、为什么，引出了bert这个可知语义信息的模型 bert自监督学习，资料分为两部分，自己跟自己学，自己产生label bert通过transformer无限制的self-attention考虑整个序列，给多少内容就能看多少上下文，预测的内容被mask所以不用担心模型会偷看到，目标是预测被盖住的内容。预训练模型往往非常大，很多参数需要存下来，所以只调adaptor的部分 预训练模型经过任务的针对性有标记资料的微调之后，可以解决各种下游NLP任务：情感分析、词性标注、NLI、问答
【论文阅读】BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding——叩开语言模型的大门！
最新发布
一般路过底层打工人的博客
09-12 1365
谷歌AI团队提出的BERT模型开创性地实现了深度双向预训练，通过掩码语言模型(MLM)和下一句预测(NSP)两项创新任务，使模型能够融合上下文信息理解语义。基于Transformer编码器架构，BERT采用预训练-微调范式，在11项NLP任务上取得当时最佳效果。其核心贡献包括：1)验证深度双向预训练的重要性；2)提出MLM和NSP任务实现双向学习；3)确立"预训练+微调"的通用范式。BERT显著推进了NLP领域发展，成为后续研究的基准模型。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
volcan的博客
12-12 1400
局限性：都是单向的，如果要句子分析，情感等，双向的理解更有效。
BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding
DarrenXf的专栏
04-10 3098
BERT 个人翻译，并不权威。 paper https://arxiv.org/pdf/1810.04805.pdf BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding 深度双向Transformers预训练解决语言理解 Abstract 摘要 我们引入被叫做BERT的新的语言表示模型， ...
论文阅读笔记——BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Multiple_x的博客
03-17 1270
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文阅读笔记
论文笔记：BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
Sun_victory的博客
11-15 1876
语言模型预训练已被证明对改善许多自然语言处理任务是有效的，现有有两种策略可以将预先训练好的语言表示应用到下游任务中：基于特征的策略和微调策略。这两种方法在训练前具有相同的目标函数，它们使用单向语言模型来学习一般语言表示。作者认为，目前的技术限制了预训练表示的能力，特别是对于微调方法。主要的限制是标准语言模型是单向的，这限制了在预训练过程中可以使用的架构的选择。在问题回答中，从两个方向合并上下文是至关重要的。
论文解读：BERT探索笔记(BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding)
计算机视觉领域
01-29 1171
本文目的： BERT是如何制作训练样本以及如何训练的，重点关注数据处理部分！
Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding
abrams90的专栏
11-28 891
Abstract 我们介绍了一种语言表达模型称为BERT，也就是Transformer的双边编码表示。与当前语言表达模型不同（Peters et al., 2018a; Radford et al., 2018），BERT设计通过考虑所有层左右上下文对为标注过的文本进行深度双边表达的预训练。因此，预训练BERT模型可以通过只增加一个额外的输出层进行finetuned，从而在很多任...
BERT_Pre-training of Deep Bidirectional Transformers for Language Understanding
11-02
BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答。项目地址：https://github.com/google-research/bert#fine-tuning-with-bert
【自然语言处理 | BERT】BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding论文讲解
wzk4869的博客
05-04 2224
【自然语言处理 | BERT】BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding论文讲解
【论文阅读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
iioSnail的博客
09-16 2737
BERT全称BEncoderRTransformers，其是一个基于Transformer模型、使用无监督方式训练的预训练模型。只要简单的在BERT下游接个输出层进行特定的任务，可能就直接是SOTA(state-of-the-art)模型了，就这么牛。BERT的训练使用的是“masked laguage model”(MLM)预训练任务，具体为随机掩盖住输入中的部分词，目标就是根据上下文来预测这些被盖住的词是什么。例如：输入：我正在学习深度[MASK]，目前学到了BERT一节，有点[MASK]。
Bert：Pre-training of Deep Bidirectional Transformers forLanguage Understanding
garbage回收中心
10-06 967
本文提出了一种新的语言模型-Bert，由transformer中的标准的双向编码器表示。该结构通过在所有层中对左右两边上下文进行联合调节，来对无标签文本进行预训练。实验证明，在该预训练模型上加入特定输出层后能够在多个文本任务中取得最好的成绩。包括将GLUE分数提升到了80.5%，7.7个百分点的绝对提升。和。前者（如ELMo）使用特定的任务架构，包括将预训练的表征作为额外的特征。后者（如GPT）引入最小的特定任务参数，简单地迁移所有预训练参数来在下游任务上进行训练。
【论文精读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
学习记录，厚积薄发
02-13 3857
预训练语言模型BERT：把两个最好的结合起来！
快速实现NLP模型学习：label-studio-transformers的安装与应用
3. BERT（Bidirectional Encoder Representations from Transformers，双向编码器表示）：BERT是transformers库中的一个模型，特别适合于理解和处理语言中的上下文关系。 4. natural-language-understanding（自然...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值