BERT模型学习01

原创 已于 2023-03-31 16:17:37 修改 · 432 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#bert #学习 #人工智能

于 2023-03-30 20:35:40 首次发布
部署运行你感兴趣的模型镜像

仅用于个人学习，参考内容：【BERT】是师姐都说讲的清晰的BERT模型，确定不来看看吗！！_哔哩哔哩_bilibili

1.什么是BERT1

由多个transform层叠加起来的结构

著名传统方法word2vec,左图是用周围的词对中间词进行表征，右图是用中间词对周围词进行表征，也叫静态表征模型，缺点就是bank有三个意思，但是静态下只能表征一个意思，就适用性不好。还有可能就无法识别单身狗这种有隐含的多内容的词。

 解决：把语义融合，BERT在representation的过程中又使用了transformer

 下面是对transformer的创新 

decoder是单向的（预测，第一个输出lch又作为输入.....,蛇状的结构，后面的词没法和前面表征）

所以想改进到真正地双向表征，

但是BiLSTM好像也能做到啊？但是BiLSTM有反向依赖前向依赖，处理能力比transformer弱。

 下面是BERT的encoder:

 CLS表示它能融合前面一句话S和后面一句话T的语义，然后表示到S+T，放前面输出没问题，因为transforer没有前后项时序的要求。

 已经知道了BERT完全使用了encoder,那么也对其做了写改变，传统是token embedding加上 positional embedding，但是BERT又加上了segment embedding,

且对position embedding进行了创新，以前用cos sin交替表示一个字的向量，现在使用的是参数训练得出的。“作者发现使用cos sin的方式的代价和自己训练的代价一样，而且作者也就是谷歌有钱来训练”。

然后BERT可以处理多个句子，使用它用segment embedding的方式，绿行里面AB交替出现，这是通过不同编码方式对两个句子进行分隔。

传统transformer中就是extreme和其他词都有关联，brightness和其他词也有关联......

MLM做的事情是，如果要表征 brightness的模型，那就把brightness遮盖起来，然后让extreme训练时不读到brightness是什么意思，而是跳过读其他词建立关系。

区别就是：传统中，extreme和其他词已经和brightness建立联系了，那如果要让你填空就直接抄，而BERT一开始就把brightness给mask起来了，程序就没有抄答案的地方了，而不得不联系其他词进行预测，就更好地实现了一个上下文语义标达的功能

 但是发现被mask的地方embedding的效果很好，没有mask就不太好，就出现数据格式不匹配，但是也不可能全去mask

 所以提出了加上随机替换

 随机替换就是把hairy换成apple，所以模型不仅仅要预测mask是什么，还要判断这个apple是不是我真正要找的词

 测试证明，此时综合效果最佳

2.预训练和微调

 首先希望他能对单词进行单个处理（embedding），同时希望能在多句中进行应用，比如情感分类。对于token级别，就是mask然后训练embedding什么的，进行编码；句子级别，正如上图左半部分，融合上下语义，通过CLS向量输出，具体怎么实现呢?怎么融合？就是做了一个基础的训练，让模型判断句子S和句子T是否是相关联的，然后通过一些处理，就能得到融合上下文语义CLS向量，然后还可以加上一些特殊的层次、叠加语义等等，实现特定功能

 第一个组有关联，就true，对CLS进行训练，第二组为false

 比如Source是原模型，来自一个巨大图像库，可以对各种图像进行识别，而目标就是识别不同牌子的车，只要降维到车分类的任务上，这样降维打击，功能肯定会好

具体而言，上面那些功能层都copy

 初始化不是我们随机的，而是原来的已知的强大的预训练模型的参数，这样模型的表现至少不会降低。

 红框内就我们不需要改，只要对output layer进行训练，随机

微调就是黄球，离目标已经很近了，稍微改一下就跑过了，所以就叫微调

 

您可能感兴趣的与本文相关的镜像

Qwen3-VL-8B

Qwen3-VL-8B

图文对话
Qwen3-VL

Qwen3-VL是迄今为止 Qwen 系列中最强大的视觉-语言模型，这一代在各个方面都进行了全面升级：更优秀的文本理解和生成、更深入的视觉感知和推理、扩展的上下文长度、增强的空间和视频动态理解能力，以及更强的代理交互能力

BERT 为什么第一个词为[CLS]
Love-Coding
11-12 1万+
[CLS]就是classification的意思， 因为做next sentence predict任务，就取[CLS]对应的最后的隐状态过MLP， 也就是最后的[batch_size,len1+len2,hidden_size]的[batch_size,0,hidden_size]去预测是不是下一句。 而同样操作，MaskLM是取那个MASK的词对应的位置的隐状态过MLP，预测这个词是什么。 ...
nlp模型-bert从入门到精通（一）
IT届的小学生
09-11 4187
文章目录基础资料准备从0到1了解模型的优缺点BERT这个模型与其它两个不同的是：BERT模型具有以下两个特点：模型的输入参考资料： 在说内容之前先把，bert基本资料准备一下 基础资料准备 tensorflow版：点击传送门 pytorch版（注意这是一个第三方团队实现的）：点击传送门 论文：点击传送门 从0到1了解模型的优缺点 从现在的大趋势来看，使用某种模型预训练一个语言模型看起来是一种比较靠...
Bert模型的学习
x2__T的博客
01-12 274
利用大规模无标注语料训练、获得文本的包含丰富语义信息的Representation将文本的语义表示在特定NLP任务中作微调，最终应用于该NLP任务字/词通常都用一维向量：词向量希望语义相近的字/词在特征向量空间上的距离也比较接近，字/词向量转换而来的文本向量也能够包含更为准确的语义信息BERT模型的主要：输入是文本中各个字/词的原始词向量，该向量既可以随机初始化，也可以利用Word2Vector等算法进行预训练以作为初始值；输出是文本中各个字/词融合了全文语义信息后的向量表示。
BERT模型的详细介绍
热门推荐
IT之一小佬的博客
04-01 12万+
BERT模型的详细介绍 1.BERT 的基本原理是什么？ BERT 来自 Google 的论文Pre-training of Deep Bidirectional Transformers for Language Understanding，BERT 是“Bidirectional Encoder Representations from Transformers”的首字母缩写，整体是一个自编码语言模型（Autoencoder LM），并且其设计了两个任务来预训练该模型。 第一个任务是采用 Ma
BERT.
gg13213的博客
10-11 863
BERTBERTBERT输入输出表征BERT预训练篇Masked LMNSPBERT损失函数BERT细节BERT输入BERT是怎么用Transformer的BERT问题 BERT BERT是基于transformer的双向编码器，旨在通过在上下文中共有的条件计算预先训练来自无标签文本的深度双向表示。 BERT的三个关键点： 基于transformer结构（encoder端） 大规模语料预训练 深度双向模型，即BERT可以在训练阶段从所选文本的左右上下文中汲取信息。 BERT输入输出表征 BERT输入：
Bert 模型学习
IT__learning的博客
10-15 2万+
一、Bert 模型 BERT 模型的全称是 BidirectionalEncoder Representations from Transformer，基于 Transformer 的双向编码器表示，是一个预训练的语言表征模型，它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的 masked language model（MLM），以致能生成深度的双向语言表征。BERT 模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的 Repres
机器学习-bert模型
02-27
机器学习-bert模型 BERT（Bidirectional Encoder Representations from Transformers）是一种预训练语言表示的方法，它通过使用深度双向的Transformer结构，能够更好地理解语言的上下文，从而在各种自然语言处理...
精选资源
BERT模型部署和服务化的实战指南
10-14
②理解部署BERT模型所需的技术栈，学习相关部署方法和技术手段。 其他说明：文章通过对各个组件及步骤细致深入解析，指导相关人员顺利完成模型的服务化，提高了部署的成功率和效率，推动模型更好地在现实场景落地...
精选资源
自然语言处理之BERT模型算法、架构和案例实战.pptx
10-13
BERT模型算法采用了Transformer架构，通过预训练的方式，让模型能够自动学习语言的表示和上下文关系。该模型可以应用于多个自然语言处理任务，例如情感分析、文本分类和命名实体识别等。 本书详细阐述了BERT模型的...
bert模型的Python实现
04-15
标题 "BERT模型的Python实现" 涉及到的是自然语言处理领域中一个非常重要的模型——BERT（Bidirectional Encoder Representations from Transformers），以及如何用Python编程语言来实现它。BERT是一种预训练语言...
BERT模型
weixin_63685622的博客
08-28 1438
如图左一为BERT架构，其余两个分别是GPT和ELMo的架构图。 注：BLEU：衡量机器翻译的好坏.以下架构图为Transformer文本翻译结构。前馈全连接层模块, 由两个线性变换组成, 中间有⼀个Relu激活函数, 对应的数学公式形式如下: Add & Norm模块接在每⼀个Encoder Block和Decoder Block中的每⼀个⼦层的后⾯. 具体来说Add表示残差连接, Norm表示LayerNorm.输出部分经过的位置编码。 参考资料
解释BERT为什么是双向表示
阿里武的技术博客
05-16 1万+
之前也没有仔细思考这个问题， 近几天重新看了一遍BERT模型，发现之前的理解确实有问题，所以过来填坑。 在说明BERT的双向表示前，先回顾一下常见的双向表示 网络结构的双向 首先区别于biLSTM那种双向， 那种是在网络结构上的双层 例如 biLSTM来进行一个单词的双向上下文表示 可以看到， 这种在网络结构上， 每个单词都从正向和反向都得到一个表示， 然后将此表示进行连接， 则此时认为这就是单词的双向表示 在没有深思之前，我也一直以为BERT是使用上面的模式，而当我看到BERT的结构是这样的，说明我之前
带你搞懂什么是BERT模型！就这一篇就够了！
最新发布
m0_59235245的博客
05-27 854
BERT是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model（MLM），以致能生成深度的双向语言表征。BERT论文发表时提及在11个NLP（Natural Language Processing，自然语言处理）任务中获得了新的state-of-the-art的结果，令人目瞪口呆。
Bert学习笔记（一）
TheHills的博客
07-26 305
Bert学习笔记（一）nlp基本任务 今天主要参考https://blog.youkuaiyun.com/jiaowoshouzi/article/details/89073944这篇文章学习。 nlp基本任务 nlp大致可分为三个模块，数据集建立和预处理；文本嵌入；根据嵌入向量训练模型。其中二三点可能在有些场景中比较模糊，如可能文本嵌入后就能得到目标结果。 语言模型：对于文本 ...
图解BERT及ELMo
MarsYWK的博客
01-28 3302
原文链接：The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning) BERT论文地址：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding   前言  2018年可谓是自然语言处理（NLP）的元年，...
【NLP】bert中的[CLS]甚意思？
zkq_1986的博客
08-30 1万+
bert论文中提到：“GPT uses a sentence separator ([SEP]) andclassifier token ([CLS]) which are only introducedat fine-tuning time; BERT learns[SEP], [CLS] and sentence A/B embeddingsduring pre-training.” ...
bert模型中的[CLS]、[UNK]、[SEP]是什么意思？
除了学习谁都不爱的博客
08-04 3万+
BERT 的输入可以包含一个句子对 (句子 A 和句子 B)，也可以是单个句子。同时 BERT 增加了一些有特殊作用的标志位： [CLS] 标志放在第一个句子的首位，经过 BERT 得到的的表征向量 C 可以用于后续的分类任务。 [SEP] 标志用于分开两个输入句子，例如输入句子 A 和 B，要在句子 A，B 后面增加 [SEP] 标志。 [MASK] 标志用于遮盖句子中的一些单词，将单词用 [MASK] 遮盖之后，再利用 BERT 输出的 [MASK] 向量预测单词是什么。 参考链接 ...
Bert模型
IT狂人
08-18 1588
Bert模型： 无监督：预训练 有监督：微调 BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder， 144个self-attention机制 离当前字的距离越远，相关程度越低 Bert模型的输入：3部分 nsp二分类任务：处理2个句子之间的关系，所以加特殊符号， cls向量不能代表整...
BERT和ERNIE中[PAD],[CLS],[SEP],[MASK],[UNK]所代表的含义
weixin_43220532的博客
04-18 6062
在BERT和ERNIE等预训练模型的词汇表文件vocab.txt中，有[PAD],[CLS],[SEP],[MASK],[UNK]这几种token，它们代表的具体含义如下： 1，[PAD] 要将句子处理为特定的长度，就要在句子前或后补[PAD] 2，[CLS] 这个标志放在句子的首位，表示句子的开始 3，[SEP] 这个标志用于分开两个输入句子，例如输入句子 A 和 B，要在句子 A，B 后面增加 [SEP] 标志。 4，[MASK] 这个标志用于遮盖句子中的一些单词 5，[UNK] 词典内没有的词被标为[
BERT模型的Python实践指南
- **Masked Language Model（MLM）**：在预训练过程中，随机将部分输入词遮蔽，模型的任务是预测这些遮蔽的词，这迫使模型学习双向的上下文信息。 - **Next Sentence Prediction（NSP）**：给定两个句子A和B，BERT...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值