GPT，ELMo，和BERT关联，理解

最新推荐文章于 2025-07-17 11:08:57 发布
原创 最新推荐文章于 2025-07-17 11:08:57 发布 · 5.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#BERT #GPT #ELMo

本文深入解析BERT模型，对比GPT和ELMo，介绍BERT如何利用transformer改进特征提取，从单向语言模型转变为双向，采用Finetuning方式进行训练，推动自然语言处理领域的进步。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

GPT，ELMo，和BERT关联，理解
文章推荐：
网页链接
https://zhuanlan.zhihu.com/p/49271699

  1. BERT用transformer方法取代了ELMo中用LSTM提取特征的方法
  2. BERT解决了GPT中单向语言模型的方法，变为双向。
  3. BERT采用了Fine tuning方式
大规模预训练语言模型：BERT与GPT争锋
AI大模型应用之禅
05-27 1038
1. 背景介绍 近年来，深度学习在自然语言处理（NLP）领域取得了显著的进展。其中，预训练语言模型（pre-trained language models）扮演了一个关键角色。BERT和GPT系列模型分别代表了 transformers架构的进步和强大的预训练能力。 BERT（Bidirectional Encoder Represen
ELMo、GPT与BERT模型
Yoin.
08-11 1082
ELMo是一种预训练的深度学习模型，用于生成上下文相关的词嵌入。它通过双向LSTM（长短期记忆网络）来捕捉词汇在不同上下文中的语义，提供比传统静态词嵌入（如Word2Vec）更精确的语义表示。这种嵌入可以增强许多NLP任务的性能，如命名实体识别和情感分析。：事先用语言模型学好一个单词的 Word Embedding，此时多义词无法区分。
【自然语言处理】BERT & GPT
Code · Cloud · Think · Repeat
02-27 2435
近年来，随着大规模预训练语言模型的发展，自然语言处理领域发生了巨大变革。BERT 和 GPT 是其中最流行且最有影响力的两种模型。在本篇博客中，我们将讨论 BERT 和 GPT 之间的区别以及它们的演变过程。
BERT模型和GPT模型的介绍
最新发布
m0_56691516的博客
07-17 777
本文介绍了BERT和GPT的一些基础概念<(￣︶￣)↗[GO!]
NLP基础（八）：ELMO和GPT模型
lygeneral的博客
07-30 470
1.ELMO ELMO（Embedding from Language Model）是一种基于LSTM的词向量的生成方式，采用两个单向LSTM。词向量的表示基于当前的句子上下文，高层LSTM捕捉上下文的词特征（语义），底层LSTM捕捉句法层次信息（语法）。网络架构如下图： 其中，前向语言模型： 后向语言模型： 目标函数最大化： 优点是解决了一词多义，在一些任务上有提升。 缺点是LSTM串行，训练成本大，LSTM对长距离的提取特征不如Transformer。 2.GPT GPT（Generative
ELMo、GPT详解
WGS.
10-10 392
ELMo、GPT
GPT vs Bert
04-12 8380
GPT和BERT的输入顺序不同：GPT是从左到右的单向模型，它只能在当前位置之前看到的上下文信息，而BERT是一种双向模型，它可以同时看到前面和后面的文本信息。GPT和BERT的训练数据不同：GPT使用了更广泛的训练数据，包括维基百科和网页文本，而BERT则使用了更多的语言任务，如问答和阅读理解。GPT和BERT的任务不同：GPT是一种基于语言模型的生成式模型，可以生成类似人类写作的文本，而BERT则是一种基于双向编码的预训练模型，可以用于许多NLP任务，如分类、命名实体识别和句子关系判断等。
【NLP】ELMO、GPT、BERT、BART模型解读及对比分析
酒酿小圆子呀～
01-12 1828
GPT（Generative Pre-trained Transformer）是由 OpenAI 开发的一类生成式预训练语言模型。基于 Transformer 架构，GPT 模型具备强大的自然语言处理能力，能够通过自回归方式生成文本。自首次推出以来，GPT 系列模型在多个领域的文本生成任务中表现出色，并在语言建模、文本生成、对话系统等任务中取得了显著的成果。GPT 系列模型的核心优势在于其预训练-微调（Pre-training & Fine-tuning）的训练策略。
ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）_bert 视频课
2401_84557521的博客
05-02 108
a1a_1a1​和a2a_2a2​这些权值也是根据具体的任务学习出来的。
ELMO,GPT,BERT对比.docx
04-23
本篇文章对比了预训练语言模型ELMO、OpenAI GPT和BERT，旨在帮助读者更好地理解预训练语言模型的优缺点。 ELMO ELMO是一种预训练语言模型，它使用多层LSTM来解决多义词问题。ELMO的整体图中，第一步使用了多层LSTM...
自然语言处理中的语言模型预训练方法（ELMo、GPT和BERT）
2401_86940371的博客
08-31 1202
最后进行简单的总结，和传统的词向量相比，使用语言模型预训练其实可以看成是一个句子级别的上下文的词表示，它可以充分利用大规模的单语语料，并且可以对一词多义进行建模。而且从后面两篇论文可以看到，通过大规模语料预训练后，使用统一的模型或者是当成特征直接加到一些简单模型上，对各种NLP任务都能取得不错的效果，说明很大程度上缓解了具体任务对模型结构的依赖。在目前很多评测上也都取得了SOTA。ELMo也提供了官网供大家使用。
NLP_BERT与GPT争锋
weixin_42504788的博客
02-19 2494
NLP_BERT与GPT争锋
神经网络之BERT深度剖析
吉米_王
02-23 3285
关于BERT 作者：白鹿（花名） 声明：以下介绍均以bert_base为基础进行介绍； 网络结构 从上面的架构图中可以看到, 宏观上BERT分三个主要模块. 最底层黄色标记的Embedding模块. 中间层蓝色标记的Transformer模块. 最上层绿色标记的预微调模块. Embedding模块: BERT中的该模块是由三种Embedding共同组成而成, 如下图 Token Embeddings 是词嵌入张量, 以[CLS]为起始位标志,[SEP]为结束位标识， 用于之后的分类任务. Seg
BERT和GPT模型简介
weixu22的博客
08-20 9738
1. 引言 从现在的大趋势来看，使用某种模型预训练一个语言模型看起来是一种比较靠谱的方法。从之前 AI2 的 ELMo，到 OpenAI 的 fine-tune transformer，再到 Google 的 BERT、GPT，全都是对预训练的语言模型的应用。 本文将主要介绍 BERT 和 GPT 这两种常见语言模型及其应用场景，较少涉及具体原理的讲解（自身水平不足）。 2. BERT 2.1 简介 BERT 在2018年出现，被认为是 NLP 的 ImageNet 时刻，可以最好地表示单词和句子，增强对自
BERT和GPT，差别真的挺大！
2401_85375186的博客
10-23 2101
本篇介绍 bert 和 gpt 区别。BERT 和 GPT 是自然语言处理（NLP）领域中的两种重要预训练语言模型，它们在多个方面存在显著的区别。以下是对 BERT 和 GPT 区别的详细分析。01全称：Bidirectional Encoder Representations from Transformers。架构：基于 Transformer 的编码器部分进行堆叠构建，通过预训练和微调两个阶段来生成深度的双向语言表征。
ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）
双鸭山•克里菲斯•北方孤星之堕
08-27 3008
介绍几种主流的NLP模型，ELMO，BERT，GPT 然而这不符合语言学的特点，例如：“太阳就是日”和“我日你大爷”。很明显两个“日”表达的意思并不相同，但是如果使用word2vec做静态embedding，那么神经网络看到的“日”是同样的语意。于是就延伸出带有上下文的embedding(Contextualized word embedding)。这种embeding可以保证同一个字在不同的语境下有不同的embeding。而本文介绍的三个网络都是Contextualized word embedding
AI: GPT与BERT两大自然语言处理模型的比较
十年运维开发经验的王义杰在此分享自己的知识和经验
06-29 983
GPT和BERT作为自然语言处理领域的两大重要模型，各自具有独特的优势和适用场景。GPT凭借其强大的生成能力，在内容创作和对话系统中表现出色；而BERT则通过其双向编码和丰富的预训练任务，在文本理解任务中取得了优异的成绩。未来，随着技术的不断发展，GPT和BERT将继续在各自领域中发挥重要作用，为自然语言处理的应用带来更多可能。
【人工智能之大模型】简述大模型GPT和BERT的区别...
985小水博的摸鱼日常
03-20 765
【人工智能之大模型】简述大模型GPT和BERT的区别...
Transformer结构及其应用详解——GPT、BERT、MT-DNN、GPT-2
zenRRan的博客
06-06 430
来自：新智元进NLP群—>加入NLP交流群【导读】本文首先详细介绍Transformer的基本结构，然后再通过GPT、BERT、MT-DNN以及GPT-2等基于Transformer的知名应用工作的介绍并附上GitHub链接，看看Transformer是如何在各个著名的模型中大显神威的。在介绍Transformer前我们来回顾一下RNN的结构对RNN有一定了解的话，一定会知道，RNN有两个很...
有ELMo、GPT和BERT
07-28
ELMo、GPT和BERT都是自然语言处理中的重要模型。ELMo是一种基于深度双向语言模型的词向量表示方法，能够捕捉词义的多义性和上下文相关性。GPT（Generative Pre-trained Transformer）是一个基于Transformer架构的预...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值