论文阅读笔记——BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

最新推荐文章于 2025-04-26 15:53:25 发布
最新推荐文章于 2025-04-26 15:53:25 发布
阅读量1.2k 收藏 24
点赞数 34
CC 4.0 BY-SA版权
文章标签： 论文阅读 笔记 bert 人工智能 语言模型 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Multiple_x/article/details/146299479

BERT 采用了 Transformer 的 encoder 侧网络，利用 self-attention 在编码一个 token 的时候同时利用了其上下文，并非像 Bi-LSTM 把句子倒序输入一遍。

BERT 在11种不同NLP测试中创出SOTA表现，将GLUE基准推高至80.4% (绝对改进7.6%)，MultiNLI准确度达到86.7% (绝对改进5.6%)，成为NLP发展史上的里程碑式的模型成就。
在这里插入图片描述

输入向量

BERT 的输入编码向量（512 个 token）：

  1. WordPiece 嵌入：将单词划分成一组有限的公共字词单元，在有效性和字符的灵活性达到折中平衡。文本开头加上 [CLS][CLS][CLS] 表示用于分类任务，结尾加上 [SEP][SEP][SEP] 表示分句符号。
  2. Segment Embeddings：区分两个句子，如 B 是 A 的下文，A 都是 0，B 都是 1。
  3. Position Embeddings：与 transformer 的 position embeddings 不同，transformer 通过固定的正余弦计算得到，BERT 采用可学习的嵌入，意味着同一个单词处在不同位置，那么他们的 position embeddings 不同。实际上是一个 (512，768) 的单词查询表。
  4. 在这里插入图片描述

Masked LM（MLM）

将 15% 的单词被随机 Mask 掉，通过上下文来预测这些单词。

每次确定 Mask 的单词时，有 80% 直接替换为 [Mask][Mask][Mask] ，10% 替换为其他任意单词，10% 保留原始 token。这么做的原因在于，如果句子的某个 token 被 100% Mask 掉，那么在微调的时候模型会有一些没见过的单词。加入随机 token 的原因是 transformer 要保持对每个输入 token 的分布式表征，否则模型就会记住 [Mask][Mask][Mask] 是某个单词的 token。至于保留 15% × 10% = 1.5% 可忽略。

#Next Sentence Prediction（NSP）
该任务是判断句子 B 是否是句子 A 的上下文，是的话输出 IsNext，不是的话输出 NotNext，训练数据是通过从平行语料中随机抽取的连续两句话，50% 保留这两句话，符合 IsNext 关系，50% 随机抽取第二句话，符合 NotNext关系，该关系被记录在 [CLS][CLS][CLS] 中。

Finetune

基于句子对的分类任务：

  • MNLI：给定一个前提 (Premise) ，根据这个前提去推断假设 (Hypothesis) 与前提的关系。该任务的关系分为三种，蕴含关系 (Entailment)、矛盾关系 (Contradiction) 以及中立关系 (Neutral)。所以这个问题本质上是一个分类问题，我们需要做的是去发掘前提和假设这两个句子对之间的交互信息。
  • QQP：基于Quora，判断 Quora 上的两个问题句是否表示的是一样的意思。
  • QNLI：用于判断文本是否包含问题的答案，类似于我们做阅读理解定位问题所在的段落。
  • STS-B：预测两个句子的相似性，包括5个级别。
  • MRPC：也是判断两个句子是否是等价的。
  • RTE：类似于MNLI，但是只是对蕴含关系的二分类判断，而且数据集更小。
  • SWAG：从四个句子中选择为可能为前句下文的那个。

基于单个句子的分类任务

  • SST-2：电影评价的情感分析。
  • CoLA：句子语义判断，是否是可接受的（Acceptable）。

问答任务

  • SQuAD v1.1：给定一个句子（通常是一个问题）和一段描述文本，输出这个问题的答案，类似于做阅读理解的简答题。
  • 命名实体识别
  • CoNLL-2003 NER：判断一个句子中的单词是不是Person，Organization，Location，Miscellaneous或者other（无命名实体）。
    在这里插入图片描述
寻丶幽风
关注
论文阅读笔记 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
mohen_777的博客
11-05 109
本文介绍的language representation model就是大名鼎鼎的BERT，其模型结构是利用Transformer的双向Encoder表示。BERT有个明显的特点就是，它通过在所有层的左侧和右侧上下文中共同进行条件预处理，从而在未标记的文本中预训练深层双向表示。和，基于特征的方法，比较典型的就是ELMo，使用特定于任务的架构，其中包括预训练的表示形式作为附加功能。微调的方式，众所周知的是GPT了，这种方式通过引入最少的特定于任务的参数，并通过简单地微调所有预训练的参数来对下游任务进行训练。
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
10-17
NLP领域取得最重大突破！谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩。毋庸置疑，BERT模型开启了NLP的新时代！
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
热门推荐
CLOUD
11-13 2万+
【文章来源】 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding：https://arxiv.org/pdf/1810.04805.pdf 摘要 我们介绍了一种新的语言表示模型BERT，它表示转换器的双向编码器表示。与最近的语言表示模型不同(Peters et al., 2018; ...
论文解读：BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding
最新发布
qq_51950566的博客
04-26 1161
摘要部分简要介绍了一下这篇文章的主要工作，并直接摆出数据展示了本文工作的效果是非常好的。本文提出了一个叫BERT的语言模型，BERT使用了Transformers双向编码器进行构建，与GPT不同的是，BERT采用双向编码器，在预训练阶段可以学习到上下文信息。（GPT预训练阶段的任务是预测下一词，只使用了上文信息）。在流程上BERT也是预训练微调范式，只需要对预训练的模型进行微笑的调整，就能适应很多种类的下游任务。
BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding
DarrenXf的专栏
04-10 3047
BERT 个人翻译，并不权威。 paper https://arxiv.org/pdf/1810.04805.pdf BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding 深度双向Transformers预训练解决语言理解 Abstract 摘要 我们引入被叫做BERT的新的语言表示模型， ...
【论文阅读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
iioSnail的博客
09-16 2477
BERT全称BEncoderRTransformers，其是一个基于Transformer模型、使用无监督方式训练的预训练模型。只要简单的在BERT下游接个输出层进行特定的任务，可能就直接是SOTA(state-of-the-art)模型了，就这么牛。BERT的训练使用的是“masked laguage model”(MLM)预训练任务，具体为随机掩盖住输入中的部分词，目标就是根据上下文来预测这些被盖住的词是什么。例如：输入：我正在学习深度[MASK]，目前学到了BERT一节，有点[MASK]。
论文笔记：BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
Sun_victory的博客
11-15 1781
语言模型预训练已被证明对改善许多自然语言处理任务是有效的，现有有两种策略可以将预先训练好的语言表示应用到下游任务中：基于特征的策略和微调策略。这两种方法在训练前具有相同的目标函数，它们使用单向语言模型来学习一般语言表示。作者认为，目前的技术限制了预训练表示的能力，特别是对于微调方法。主要的限制是标准语言模型是单向的，这限制了在预训练过程中可以使用的架构的选择。在问题回答中，从两个方向合并上下文是至关重要的。
论文解读：BERT探索笔记(BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding)
计算机视觉领域
01-29 1084
本文目的： BERT是如何制作训练样本以及如何训练的，重点关注数据处理部分！
《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》论文笔记
sfgsdfg2516的博客
04-08 818
1）基于特征的方法：预训练模型用来提取文本的特征表示。2）基于微调的方法：直接在预训练模型的基础上，针对特定下游任务进行额外训练的过程。通过引入了最少的特定于任务的参数，并通过简单的方式对下游任务进行训练重新调整所有预先训练的参数。看这篇论文纯粹是因为我的导师说，去跑下BERT代码，学习理解一下是很有帮助的，那么作为刨根问底的人，当然先把原论文看一遍啦~~~
【论文笔记】Bert：Pre-training of Deep Bidirectional Transformers for Language Understanding
BodyCsoulN的博客
11-08 2759
原文作者：Jacob Devlin，Ming-Wei Chang，Kenton Lee，Kristina Toutanova 原文标题：Bert：Pre-training of Deep Bidirectional Transformers for Language Understanding 原文来源：谷歌AI团队 原文链接：https://arxiv.org/pdf/1810.04805.pdf 3.2 Bert：Pre-training of Deep Bidirectional Transforme
BERT_Pre-training of Deep Bidirectional Transformers for Language Understanding
11-02
BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答。项目地址：https://github.com/google-research/bert#fine-tuning-with-bert
【论文笔记】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
uestcwm的博客
06-25 965
本文主要用于记录谷歌发表于2018年的一篇论文。该论文提出的BERT模型被各地学者媒体美誉为NLP新一代大杀器。本笔记主要为方便初学者快速入门，以及自我回顾。 论文链接：https://arxiv.org/pdf/1706.03762.pdf 基本目录如下： 摘要 核心思想 总结 ------------------第一菇 - 摘要------------------ 1.1 论文摘要...
BERT(一)--论文翻译：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
05-19 3345
文章目录 1 Introduction(简介)2 Related Work（相关工作）2.1 Feature-based Approaches（基于特征的方法）2.2 Fine-tuning Approaches （微调方法）2.3 Transfer Learning from Supervised Data（在有监督数据上的迁移学习）3 BERT3.1 Model Architecture（模型结构）3.2 Input Representation（输入表示）3.3 Pre-training Tasks.
【论文精读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
学习记录，厚积薄发
02-13 3495
预训练语言模型BERT：把两个最好的结合起来！
Bert：Pre-training of Deep Bidirectional Transformers forLanguage Understanding
garbage回收中心
10-06 932
本文提出了一种新的语言模型-Bert，由transformer中的标准的双向编码器表示。该结构通过在所有层中对左右两边上下文进行联合调节，来对无标签文本进行预训练。实验证明，在该预训练模型上加入特定输出层后能够在多个文本任务中取得最好的成绩。包括将GLUE分数提升到了80.5%，7.7个百分点的绝对提升。和。前者（如ELMo）使用特定的任务架构，包括将预训练的表征作为额外的特征。后者（如GPT）引入最小的特定任务参数，简单地迁移所有预训练参数来在下游任务上进行训练。
教我如何看懂论文，理解论文，研究论文
03-16
<think>嗯，用户想学习如何看懂、理解和研究论文。首先，我需要明确他们的背景。可能是个刚入门的研究生，或者刚开始学术研究的人。他们可能对如何高效阅读学术论文感到困惑，尤其是在面对大量专业术语和复杂方法时。 接下来，我要考虑用户的需求。他们可能希望有一个系统的方法，从选择论文到深入理解，再到批判性分析和应用。需要分步骤来引导，避免信息过载。同时，用户可能对如何做笔记、提炼核心观点以及复现结果有疑问。 用户可能没有说出来的深层需求是时间管理和克服阅读中的挫折感。学术论文通常很冗长，结构复杂，新手容易感到沮丧。因此，除了步骤，可能还需要一些实用技巧，比如如何快速定位重点，如何处理不懂的部分，以及如何积累领域知识。 然后，我需要组织回答的结构。先分阶段：读前准备、初步阅读、深度理解、批判分析、应用拓展。每个阶段再细分步骤，比如读前准备包括筛选论文和明确目标。每个步骤给出具体方法，比如如何快速浏览摘要和结论，如何做结构化笔记。 还要注意用户提到的格式要求，比如使用中文，数学公式的正确LaTeX格式。虽然用户的问题不涉及数学，但可能例子中需要用到，比如在解释理论部分时，可能需要展示公式的正确写法，确保符合他们的系统指令。 最后，检查是否有遗漏点。比如是否需要推荐工具或软件帮助整理文献，如何管理参考文献，或者如何与导师、同行交流。这些可能对用户有帮助，但根据用户的问题，可能更关注个人阅读和理解的方法，所以保持重点在个人操作步骤上。 总结：用户需要一个清晰、逐步的指南，涵盖从选择论文到应用成果的全过程，强调主动阅读和批判性思维，同时提供实用技巧缓解阅读压力，帮助他们建立信心和方法体系。</think>好的，我将分阶段教你系统化阅读、理解和研究论文的方法。以下是结构化学习路径： 一、读前准备阶段 1. 筛选论文 - 优先选择领域内顶刊/顶会论文（如CVPR, Nature, IEEE Trans等） - 使用公式判断相关性：$$ \text{相关性} = \frac{\text{被引次数}}{\text{发表年数}} \times \text{期刊影响因子} $$ 2. 建立知识框架 - 绘制领域知识图谱（例：机器学习 → 监督学习 → 神经网络 → Transformer） - 准备工具：文献管理软件（Zotero/EndNote）+ 思维导图工具（XMind） 二、初步阅读（30分钟/篇） 1. 三要素快速定位 - 标题解析：定位核心关键词（如《$BERT$: Pre-training of Deep Bidirectional Transformers for Language Understanding》） - 摘要拆解：按"问题-方法-结果"结构标注 - 结论对比：验证作者承诺是否兑现 2. 关键公式定位 - 寻找核心数学模型（如Transformer的注意力公式）： $$ \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ 三、深度理解（2-4小时/篇） 1. 方法论解构 - 绘制技术路线图（输入→处理模块→输出） - 对照算法伪代码与公式推导（例：ResNet残差块 $H(x) = F(x) + x$） 2. 实验分析 - 制作对比表格： | 数据集 | 基线模型 | 本文方法 | 提升幅度 | |--------|----------|----------|----------| | MNIST | 98.2% | 99.1% | +0.9% | 四、批判性分析 1. 创新点评估 - 使用创新矩阵： $$ \text{创新度} = \alpha \cdot \text{理论突破} + \beta \cdot \text{应用价值} $$ 2. 局限性质疑 - 检查实验设置（如：$batch\_size=32$是否具有普适性） - 验证定理假设（如：假设数据满足$i.i.d.$条件是否合理） 五、应用拓展 1. 复现准备 - 搭建代码框架： ```python class ProposedModel(nn.Module): def __init__(self): super().__init__() self.layer1 = nn.Linear(in_dim, hidden_dim) # 实现论文公式(3) ``` 2. 衍生研究 - 设计改进方案（如：将$ReLU$激活函数替换为$Swish$） - 构造新假设：若修改损失函数$\mathcal{L}_{new} = \mathcal{L}_{ori} + \lambda||\theta||^2$，预期效果如何？ ★ 高效阅读技巧 1. 主动阅读法：每读一段用"问题-答案"形式记录 2. 渐进式理解：第一遍抓主线（20%时间），第二遍抠细节（80%时间） 3. 建立错题本：记录无法理解的概念，后续专项突破 建议每周精读2篇+泛读5篇，持续3个月后可建立领域知识体系。遇到具体论文时，可带着具体问题进一步探讨。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值