[博学谷学习记录]超强总结，用心分享|人工智能深度学习BERT模型总结分享

最新推荐文章于 2025-04-16 22:30:00 发布
最新推荐文章于 2025-04-16 22:30:00 发布
阅读量1k 收藏 3
点赞数
文章标签： 人工智能 深度学习 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46515036/article/details/129237743
版权
本文详细介绍了BERT模型的优缺点，包括其高效的Transformer架构和双向上下文理解，以及模型庞大、资源消耗高的问题。此外，还深入探讨了BERT在MLM任务中采用80%, 10%, 10%策略的原因，以及如何处理长文本的训练样本构造方法。" 103038922,9131569,C++中的struct与union：定义、用途与内存占用,"['C++', '内存', '结构体', '联合体']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. BERT模型优缺点

1.1 BERT的优点

  • 通过预训练, 加上Fine-tunning, 在11项NLP任务上取得最优结果.

  • BERT的根基源于Transformer, 相比传统RNN更加高效, 可以并行化处理同时能捕捉长距离的语义和结构依赖.

  • BERT采用了Transformer架构中的Encoder模块, 不仅仅获得了真正意义上的bidirectional context, 而且为后续微调任务留出了足够的调整空间

1.2 BERT的缺点

  • BERT模型过于庞大, 参数太多, 不利于资源紧张的应用场景, 也不利于上线的实时处理.

  • BERT目前给出的中文模型中, 是以字为基本token单位的, 很多需要词向量的应用无法直接使用. 同时该模型无法识别很多生僻词, 只能以UNK代替.

  • BERT中第一个预训练任务MLM中, [MASK]标记只在训练阶段出现, 而在预测阶段不会出现, 这就造成了一定的信息偏差, 因此训练时不能过多的使用[MASK], 否则会影响模型的表现.

  • 按照BERT的MLM任务中的约定, 每个batch数据中只有15%的token参与了训练, 被模型学习和预测, 所以BERT收敛的速度比left-to-right模型要慢很多(left-to-right模型中每一个token都会参与训练).

2. BERT的MLM任务中为什么采用了80%, 10%, 10%的策略?

  • 首先, 如果所有参与训练的token被100%的[MASK], 那么在fine-tunning的时候所有单词都是已知的, 不存在[MASK], 那么模型就只能根据其他token的信息和语序结构来预测当前词, 而无法利用到这个词本身的信息, 因为它们从未出现在训练过程中, 等于模型从未接触

最低0.47元/天 解锁文章
AAALice0.0
关注
NLP-Bert模型
qq_27412807的博客
02-01 2224
BERT简单介绍 ​ BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model（MLM），以致能生成深度双向语言表征。 ​ BERT论文发表时提及在11个NLP（Natural Language Processing，自然语言处理）任务中获得了新的st
模型优势缺陷整理
Xpy_021101的博客
04-13 2554
7.对于长文本序列来说，效果可能不如其他模型。gnn模型不太适合处理长文本序列，这是因为gnn模型的设计初衷主要是为了捕捉局部特征以及节点之间的关系，而对于长序列来说，这种关系会变得十分复杂，同时可能会出现梯度消失或梯度**的问题。：cnn模型采用固定大小的卷积核，无法灵活地处理不同长度的输入，因此在处理不同长度的文本数据时需要进行填充或者截断操作，这可能会导致信息的丢失。：cnn模型对输入的噪声和变形具有一定的鲁棒性，因此在处理一些存在噪声或变形的文本数据时，cnn模型能够表现出比其他模型更好的鲁棒性。
BERT模型的优点
优快云_of_ding的博客
08-02 8563
BERT 模型是将预训练模型和下游任务模型结合在一起的，也就是说在做下游任务时仍然是用BERT模型，而且天然支持文本分类任务，在做文本分类任务时不需要对模型做修改。谷歌提供了下面七种预训练好的模型文件。 BERT模型在英文数据集上提供了两种大小的模型，Base和Large。Uncased是意味着输入的词都会转变成小写，cased是意味着输入的词会保存其大写（在命名实体识别等项目上需要）。Multilingual是支持多语言的，最后一个是中文预训练模型。 ...
自然语言处理的进化：BERT模型深度剖析
最新发布
easyaigx的博客
04-16 1353
BERT（Bidirectional Encoder Representations from Transformers）是由Google于2018年提出的一种预训练模型，旨在提升自然语言处理（NLP）领域的模型性能和效率。与传统语言模型不同，BERT通过双向上下文的理解，能够深入捕捉句子的语义和句法信息，极大地提升了对自然语言的理解能力。BERT模型在自然语言处理技术中的成功，得益于其创新的双向自注意力机制和有效的预训练策略。
BERT模型为什么这么强?
博文视点（北京）官方博客
08-10 3895
如果你是一名自然语言处理从业者，那你一定听说过大名鼎鼎的 BERT 模型。 BERT（Bidirectional Encoder Representations From Transformers）模型的“荣耀时刻”是2018年：称霸机器理解测试SQuAD，横扫其他10项NLP测试，达成“全面超过人类”成就。 BERT模型使用预训练和微调的方式来完成自然语言处理（Natural Language Processing，NLP）任务。这些任务包括问答系统、情感分析和语言推理等。 01 为什么BERT模型这么强
BERT模型的优越性
xi3233255的博客
02-02 288
在大型文本语料库上训练了一种通用的 模型，并用于执行所需的NLP任务。这是因为BERT是一个双向无监督的深度学习系统，目前广泛应用于NLP的预训练。BERT在大规模无标签的语料库上进行预训练，通过两个预训练任务MLM和NSP对语料库进行学习，使模型能够学习到通用的语言表示。由于BERT预训练阶段学到的通用表示，只需在预训练模型的基础上微调，就可以适应不同的任务，无需重新训练整个模型。相较于传统的单向模型，Bert考虑到输入序列中所有位置的上下文信息，能够更好地理解句子中的语境和依赖关系。
如何评价 BERT 模型？
小岁月太着急
04-08 1092
https://www.zhihu.com/question/298203515/answer/516170825
BERT在哪些领域有优势
借雨醉东风的博客
08-02 1049
关注我，持续分享逻辑思维&管理思维&面试题；可提供大厂面试辅导、及定制化求职/在职/管理/架构辅导；推荐专栏，目前已完成所有内容。一顿烧烤不到的费用，让人能紧跟时代的浪潮。从普通网站，到公众号、小程序，再到AI大模型网站。干货满满。学成后可接项目赚外快，绝对划算。不仅学会如何编程，还将学会如何将AI技术应用到实际问题中，为您的职业生涯增添一笔宝贵的财富。
BERT从零学习心得体会
tranquil666的博客
12-03 381
BERT提出了全新的方式：MLM（Masked Language Model）论文原文部分；MLM的提出实现:对于所有的原文本词，15%的的概率随机挑选一些词出来；对于被随机挑选出来的部分：10% 替换成其他部分10%原封不动剩下的80%替换成mask这样就打破了原有的文本信息，在预训练的时候对文本进行重建，训练的额时候让出现的词无限地接近原本地词语，这样一定程度上可以遏制对训练集地敏感性训练方式基于上下文的词，与左右模型不同，MLM目标使表示能够融合上下文，使得预训练更加具有深度。
Autoencoding/BERT在词表征中的优势和劣势
weixin_43292547的博客
11-23 1120
import lombok.*; import org.junit.Test; import java.util.ArrayList; import java.util.Optional; import java.util.stream.Collectors; import java.util.stream.Stream; public class T1 { @Test public void asdasd(){ ArrayList<Integer> l=ne
讲讲我对Bert的评价及看法
优快云_of_ding的博客
08-12 341
Bert是近几年NLP重要进展的集大成者 Masked LM明显借鉴了CBOW的思想 特征抽取是用Transformer(encoder部分是个深度Transformer结构，decoder部分也是个深度Transformer结构) Bert最大的亮点在于效果好及普适性强，几乎所有NLP任务都可以套用Bert这种两阶段解决思路，而且效果应该会有明显提升。可以预见的是，未来一段时间在NLP应用领域，Transformer将占据主导地位，而且这种两阶段预训练方法也会主导各种应用。 预训练是通过设计好一个网络结.
bert细节理解
12-21
bert中的升维3072，能更好的分离特征。 bert中最后对一维卷积进行池化，好处在于增加了模型的泛化能力，不同的池化方式(平均值、最大值）会带来不同的结果。 一维数据进行池化，利用padding=“SAME”，不会改变尺寸。 https://blog.youkuaiyun.com/Tourior/article/details/79544326 logits = self.l0(out) start_logits, end_logits = logits.split(1, dim=-1) logits.split将（64，128，2）变成2个（64，128，1） start_logits = st
Bert时代的创新：Bert应用模式比较及其它 | 技术头条
AI科技大本营
05-12 2092
作者：张俊林，中国中文信息学会理事，中科院软件所博士。目前在新浪微博 AI Lab 担任资深算法专家。在此之前，张俊林曾经在阿里巴巴任资深技术专家并负责新技术团队，以及在...
Bert 模型学习
IT__learning的博客
10-15 2万+
一、Bert 模型 BERT 模型的全称是 BidirectionalEncoder Representations from Transformer，基于 Transformer 的双向编码器表示，是一个预训练的语言表征模型，它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的 masked language model（MLM），以致能生成深度的双向语言表征。BERT 模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的 Repres
bert的结构 用法 优势 提升空间讲的清楚明白的通俗易懂的
studyvcmfc的专栏
01-31 324
https://zhuanlan.zhihu.com/p/48612853
BERT模型的详细介绍
热门推荐
IT之一小佬的博客
04-01 12万+
BERT模型的详细介绍 1.BERT 的基本原理是什么？ BERT 来自 Google 的论文Pre-training of Deep Bidirectional Transformers for Language Understanding，BERT 是“Bidirectional Encoder Representations from Transformers”的首字母缩写，整体是一个自编码语言模型（Autoencoder LM），并且其设计了两个任务来预训练该模型。 第一个任务是采用 Ma
基于Pytorch深度学习——Bert原理/优势/代码
EchoToMe的博客
10-26 873
基于Pytorch深度学习——Bert原理/优势/代码
BERT为什么是NLP的革新者
人工智能学家
09-25 335
来源 |AI前线作者 | Jerry Wei译者 | 马可薇策划 & 编辑 | 刘燕语言模型 BERT 可以大幅提升许多任务的性能，那么它成功的背后是什么呢？本文最初发表在 T...
BERT详解：概念、原理与应用
ffffffffhh的博客
03-30 5324
BERT详解：概念、原理与应用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值