ELMo（Embeddings from Language Models） --学习笔记

最新推荐文章于 2025-07-15 17:10:02 发布
原创 最新推荐文章于 2025-07-15 17:10:02 发布 · 3k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

ELMo是从深层双向语言模型中学习得到的词向量，它能捕捉词汇的语法、语义信息以及上下文中的多义性。与word2vec不同，ELMo的词向量会随上下文变化。通过预训练的biLM，ELMo的词表征能提升NLP任务的性能，如问答、情感分析等。使用ELMo需要安装allennlp（不支持Windows）。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

学习参考自：
（1）、ELMo 最好用的词向量《Deep Contextualized Word Representations》
（2）、吾爱NLP(5)—词向量技术-从word2vec到ELMo
（3）文本嵌入的经典模型与最新进展

1、ELMo简介

基于大量文本，ELMo模型从深层的双向语言模型（deep bidirectional language model）中的内部状态(internal state)学习而来。
ELMo的优势：
（1）ELMo能够学习到词汇用法的复杂性，比如语法、语义。
（2）ELMo能够学习不同上下文情况下的词汇多义性。
在这里插入图片描述

ELMo与word2vec最大的不同：
Contextual: The representation for each word depends on the entir

最低0.47元/天 解锁文章

200万优质内容无限畅学
『NLP学习笔记』图解 BERT、ELMo和GPT(NLP如何破解迁移学习)
AI新视界
02-26 417
2018年是NLP模型发展的转折点。我们不断探索单词和句子的表示方法，以求能最好地捕捉其中潜在的语义和关系。此外，NLP领域已经提出了一些功能强大的组件式模型，你可以免费下载，并在自己的模型和pipeline中使用它们（这被称为NLP领域的ImageNet时刻，类似的发展在几年前，计算机视觉领域的机器学习也是这样加速发展起来的）。
预训练模型之ELMO -《Deep contextualized word representations》论文笔记 + 高频面试题
weixin_43646592的博客
12-06 453
预训练模型之ELMO -《Deep contextualized word representations》论文笔记 + 高频面试题
Embeddings from Language Models
xw555666的博客
03-23 856
In natural language processing (NLP), embeddings are numeric representations that capture the semantic and syntactic relationships between words, phrases, sentences, or even entire documents.
Embeddings from Language Models（ELMo）
null的专栏
04-05 2109
1. 概述 随着深度学习在NLP领域的发展，产生很多深度网络模型用于求解各类的NLP问题，在这众多的网络模型中，无疑都会使用到词向量的概念，这就不得不提及word2vec[1]词向量生成工具。从word2vec词向量工具的提出后，预训练的词向量成了众多NLP深度模型中的重要组成部分。然而传统的word2vec生成的词向量都是上下文无关的，其生成的词向量式固定，不会随着上下文的改变而改变，这种固定的词向量无法解决一词多义的问题。比如“bank”这个词，既可以表示“河岸”，也可以表示“银行”。Embedding
ELMo模型
最新发布
Wei_sx的博客
07-15 469
属性ELMo 模型解释模型结构双向语言模型（BiLSTM + char-CNN）表达方式每个词根据上下文获得不同的向量应用方式作为词向量输入给下游模型（不可微调参数）优势上下文感知、无 OOV、支持多层加权组合不足模型较重，训练慢，不支持端到端 fine-tunes_j%5Cgamma。
【论文详解】词向量ELMo: Embeddings from Language Models
zenRRan的博客
08-04 1050
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要15分钟跟随小博主，每天进步一丢丢作者：赵来福来自：机器学习算法与自然语言处理链接：https://zhuanlan.zhihu.c...
ELMo：Embedding from Language Model（2018-2-15）
weixin_49346755的博客
05-04 535
字符编码层主要对字符进行编码，经过多个卷积层和池化层，再经过多个高速链路层和投影层，作为词的Embedding送入后续的层中。inputs先假设为[batch_size, seq_len, w_dim]，其中batch_size代表句子个数维度，也可以当成batch维度，seq_len表示最大句子长度，w_dim表示最大词长度，默认为50。
ELMo（Embeddings from Language Models）模型
彬彬侠的博客
03-06 1298
ELMo是Allen Institute for AI（AI2）在2018年提出的一种上下文感知的词嵌入模型，能够动态生成词向量，并广泛应用于文本分类、命名实体识别（NER）、机器翻译、问答系统等任务。采用双向LSTM进行训练，可学习深层语义信息，特别适用于多义词处理。。相比BERT，ELMo计算量较小，但效果略逊，仍适用于某些NLP任务。可通过allennlp库直接加载预训练模型，并用于NLP任务。
NLP学习笔记（ELMo）
qq_43390809的博客
09-19 845
IDEA 好的词表征模型应该同时兼顾两个问题： 一是词语用法在语义和语法上的复杂特点； 二是随着语言环境的改变，这些用法也应该随之改变。 每一个词语的表征都是整个输入语句的函数。具体做法就是先在大语料上以language model为目标训练出bi-LSTM模型，然后利用LSTM产生词语的表征。ELMo故而得名(Embeddings from Language Models)。 在之前2013年的word2vec及2014年的GloVe的工作中，每个词对应一个vector，对于多义词无能为力。ELM.
自然语言处理-基于预训练模型的方法 笔记
12-30
2. 2018年，ELMo（Embeddings from Language Models）引入了上下文感知的词嵌入，通过双向LSTM对整个句子建模，改进了词向量的表示。 3. BERT（Bidirectional Encoder Representations from Transformers）在2019年...
ELMo算法介绍
热门推荐
triplemeng的博客
09-17 5万+
这篇介绍一下ELMo算法(论文)。按道理应该加入前面的《关于句子embedding的一些工作简介》系列，但是因为一不小心让我写完结了 ：） 所以干脆另写一篇吧。不过从实验效果和重要性来讲，这篇论文也值得好好介绍一下。 Introduction 作者认为好的词表征模型应该同时兼顾两个问题：一是词语用法在语义和语法上的复杂特点；二是随着语言环境的改变，这些用法也应该随之改变。作者提出了deep c...
ELMo算法详解
qq_42791848的博客
01-08 4145
ELMo ELMo来自于论文《Deep contextualized word representations》，介绍了一种高效的动态词向量。在摘要部分，作者提到词向量主要是用来解决两大问题： 单词使用的复杂性，例如语法、语义 不同语境下的单词使用，例如同义词 传统的Word2Vec或者Glove只能解决第一个问题，但是他们本身都是静态的词向量，也就是说每个词的向量化表示是固定的。但是很多词在不同的语境下表达的意思是完全不同的。例如“我去洗手间方便一下”和“你今晚几点方便”这两句话中的“方便”表达的意思
ELMo算法
None_Pan的博客
05-27 345
词嵌入是任何NLP模型不可或缺的一部分，因为它们赋予词以含义，这一切都始于Word2Vec，它点燃了NLP世界的火花，其次是GloVe。 Word2Vec表明，我们可以使用向量（数字列表）以捕获语义或含义相关关系的方式正确表示单词 我们不要进一步研究这些词的嵌入，但重要的是该词的嵌入为词提供了确切的含义。 这是该词嵌入的主要缺点，因为词的含义会根据上下文而变化，因此，这并不是语言建模的最佳选择。 以下面的句子为例。 The plane took off at exactly nine o’clock. Th
【论文笔记】Character-Aware Neural Language Models
Lawe的博客
10-24 3031
该文章发于AAAI 2016，作者提出了仅建立在字符输入，预测在词水平上进行的一个神经语言模型（NLM）。当输入一个LSTM循环神经网络语言模型（RNN-LM）时，该模型在字符上启用了一个卷积神经网络（CNN），让该CNN的输出通过一个 Highway Network，使得效果得到进一步提升。该模型非常适用于形态丰富的语言上，因为其可以获取到丰富的语义和拼写信息。
ELMo详解
Xu_Wave
05-04 5402
ELMo详解
ELMo机制
jiangjiane
11-17 907
论文中文翻译： https://blog.youkuaiyun.com/zhang2010hao/article/details/83414320 总结得非常好： https://blog.youkuaiyun.com/sinat_26917383/article/details/81913790 https://blog.youkuaiyun.com/sparkexpert/article/details/80076796...
ELMO具体算法过程介绍
jianminli2的博客
12-11 743
ELMo主要利用了 Bidirectional language models，公式具体如下所示： 其中表示N-token序列 具体操作如下： 1.首先使用token embeddings或者一个字符级别的CNN来计算和上下文无关的 2. 把传到L层的前向LSTMs。在每个k位置上，每层LSTM会输出一个和上文相关的（j=1,2……L）。最顶层的LSTM所输出的，通过一个softm...
Python-ELMo在Keras上的创新实现ELMo-keras
ELMo（Embeddings from Language Models）是一种基于深度上下文的词表示方法。它的特点是利用双向长短期记忆网络（BiLSTM）来学习语言模型，并能够为每个词生成上下文相关的嵌入表示。这种词嵌入能够捕捉到复杂的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值