ELMo：Deep contextualized word representations

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 100+累计阅读 115平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄27年

关注

原创最新推荐文章于 2026-06-21 09:01:31 发布 115 阅读 AI 写同款· GEO 优化 ›

[ELMo]Deep contextualized word representations记录 Deep contextualized word representations是2018年NAACL的BestPaper,提出ELMo模型，突破了word2vec glove等传统词向量的限制，所以找了个时间阅读并尝试翻译了一下这篇Paper，水平有限，仅供参考，也欢迎一起学习交流！深度语境化词表征摘要文章推出了一种新型的深度语境化词表征模型，该模型可以对复杂的词特征（句法、语义）以... 阅读详情

ELMo：Deep contextualized word representations

ELMo：Deep contextualized word representations_ywm_up的博客-优快云博客

收录于

01.NLP

当前文章被收录于：

01.NLP

17 篇文章 3 人学习

自然语言处理

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#nlp

文献阅读 - Deep Contextualized Word Representations Deep Contextualized Word Representations M. E. Peters, M. Neumann, M. Iyyer, M. Gardner, et al., Deep Contextualized Word Representations, NAACL (2018) 摘要深度上下文词表示（deep contextualized word represent... 阅读详情

相关推荐

ELMO论文笔记Deep contextualized word representations

1. 为什么引入 elmo是在传统词向量中加入了对上下文信息的关注，使得同一个词在不同上下文中有不同含义，得到不同的表达。 2. 整体架构 elmo主要使用了一个字符卷积层(get raw word vectors) 加上两层双向的LSTM语言模型，来充分获得一个词的所有上下文信息，这正是与word2vec等传统词嵌入不同之处。（各个层之间添加了residual connection传递；elmo中可以添加适量的dropout和l2正则） 3. 为什么是两层LSTM 第一层LSTM更容易获得一些浅层

泓源的博客 1725

Paper：《ELMO：Deep contextualized word representations》翻译与解读

Paper：《ELMO：Deep contextualized word representations》翻译与解读目录《ELMO：Deep contextualized word representations》翻译与解读 Abstract 1 Introduction 2 Related work 3 ELMo: Embeddings from Language Models 3.1 Bidirectional language models 3.2 ELMo 3.3 Usin

头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀 1万+

ELMo: Deep contextualized word representations

基于双向语言模型的词表示

Young 627

【论文笔记】ELMo：Deep contextualized word representations

Abstract 介绍一种新型的深度语境化(deep contextualized)词表示：模拟了复杂的词特征的使用(例如，语法和语义) 模拟了词在不同语境中的使用（use vary across linguistic contexts）其他要点：这个词向量是一个深度双向语言模型(biLM)内部状态的学习函数(vectors are learned functions of the i...

changreal的博客 895

Jetson-nano 编译实时内核并烧录

前言之前一篇文章介绍了正常的烧录过程，使用的是默认内核，实际工作中需要对内核打补丁升级为实时内核，并对其重编译。一、准备内容官网大法好官方内核下载链接官方交叉编译器下载链接官方文档 ubuntu主机一台根据官网选择下载对应的文件， 1、L4TDriver Package （BSP） source jetson内核文件。 2、官方交叉编译器因为我们不是在jetson上直接编译，而jetson是arm平台，所以要进行交叉编译。二、使用步骤 1.解压内核 tar -xjf public_s

ldl371122的博客 3286

抖音直播参数逆向实战：手把手教你用Python获取ttwid和x-bogus（附完整代码）

本文深入解析抖音直播接口的反爬机制，重点剖析核心防护参数ttwid和x-bogus的生成原理与作用。通过Python实战，手把手教你逆向获取ttwid、webid等关键参数，并构建稳定的数据采集方案，为开发者提供企业级数据获取能力。

weixin_29196891的博客 1043

文献阅读笔记：Deep contextualized word representations（ELMo）

0. 背景机构：Allen 人工智能研究所 & 华盛顿大学作者：Paul G 发布地方：arxiv、NAACL 2018 面向任务：word representation 论文地址：https://arxiv.org/abs/1802.05365 论文代码：https://github.com/allenai/bilm-tf。顺便安利该研究所的https://github.com/al...

ljp1919的专栏 1565

Camera metadata

weixin_42136255的博客 2527

[ELMo]论文实现：Deep contextualized word representations

传统的词向量表示其位置是固定了，不会因为上下文语句不同而产生变化，但是在日常生活中，一词多义是非常常见的，例如“apple”这个词，既可以表示苹果，也可以表示公司；这篇论文解决了单词的一词多义问题，即词的位置可以通过上下文的不同而发生改变； ELMo具有深层次的网络结构，其使用了多层的LSTM，这比仅仅使用单层LSTM层显著提高了性能；同时由于LSTM是循环神经网络，其可以捕捉单词意义的上下文；大量的实验表明，ELMo表示在实践中工作得非常好。，它可以很容易地添加到现有的模型

bigcrab的博客 513

libnice和coturn这两个库有交叉实现的地方，具体有啥区别？

TurnAdmin：是一个TURN的管理工具，此工具能被用来管理用户账号的增删改查。 TurnServer：是TURN和STUN的服务器实现。 Turnutils_uclient: 模拟多个UDP、TCP、TLS或DTLS客户端 Turnutils_peer: 一个简单的无状态UDP-ECHO服务器，用作中继模式中的最终服务器 Turnutils_stunclient: 一个简单的STUN客户端例子 Turnutils_rfc5769check: 检查STUN/TURN协议实现的正确性。我们..

Langeldep的专栏 1318

KTransformers安装笔记利用docker安装KTransformers

guoqingru0311的博客 1559

ELMo：最好用的词向量（Deep contextualized word representations）论文 pdf

下载地址：https://u20150046.ctfile.com/fs/20150046-376633397 作者：Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer 论文摘要我们提出一种新的深层语境化的词表示形式，它既模拟了...

tyu1853的博客 1013

2025红队实战：Win11环境下ZAP、CobaltStrike与免杀套件深度评测

在网络安全领域，渗透测试与红队行动是评估系统防御能力的关键手段。其核心原理在于模拟真实攻击者的技术与流程，以发现潜在的安全漏洞。这项技术的价值在于主动识别风险，提升整体安全防护水平，广泛应用于企业安全评估、漏洞挖掘和攻防演练等场景。随着Windows 11系统普及，其增强的安全机制（如内存完整性、基于虚拟化的安全）对传统攻击工具链提出了新的挑战。本文聚焦于**CobaltStrike二开版**与**免杀套件**在Win11环境下的实战应用与深度对抗，探讨如何优化工具链以应对现代端点检测与响应（EDR）和高级

weixin_29315091的博客 308

文献阅读笔记—Deep contextualized word representations

迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！（一）ELMO：Deep contextualized word representations （二）Universal Language Model Fine-tuning for Text Classification （三）openAI ...

manmanxiaowugun的博客 4835

DP_AUX辅助通道介绍

DisplayPort（简称DP）是一个由PC及芯片制造商联盟开发，视频电子标准协会（VESA）标准化的数字式视频接口标准。其中辅助通道（AUX）是一条独立双向半双工的传输通道，它也是一对差分信号线。其数据传输速率1Mbps，用来传输配置参数与指令。

cjie221的博客 5341

2026年全国青少年信息素养大赛算法应用主题赛（C++赛项复赛模拟卷1：文末附答案）

王老师青少年编程 1610

Deep contextualized word representations

引言这是2018年NAACL上的Best Paper，即是大名鼎鼎的ELMo，原文地址：https://arxiv.org/pdf/1802.05365.pdf 对比传统Word2Vec这种形式的词向量，本文提出的模型是一种动态模型。在以往的词向量表示中，词都是一种静态的形式，无论在任何的上下文中都使用同一个向量。这种情况下很难表示一词多义的现象，而ELMo则可以通过上下文动态生成词向量，从理论上会是更好的模型，从实测效果来看在很多任务上也都达到了当时的SOTA成绩。

lpty的博客 3895

假人有限元模型

假人模型，车辆碰撞假人有限元模型，适合做乘员安全的研究者利用

Deep contextualized word representations（ELMO）

最近在看ELMO以及BERT，为了更好的理解特将相关论文翻译后以供使用。概要：我们引入了一种新型的深层语境化的词表示，它既模拟了复杂的词特征的使用(例如，语法和语义)，也模拟了这些词在不同语言语境中的使用(即，一词多义)。我们的词向量是一个深度双向语言模型(biLM)内部状态的学习函数，该模型是在大型文本语料库上预训练的。我们发现，这些表示可以很容易地添加到现有的模型中，并显著地改善6个具有挑...

zhang2010hao的博客 1869

汉书HE8，好用的汇编代码编写工具

汉书HE8，好用的汇编代码编写工具早期编写汇编代码所用功能强大

android 蓝牙通讯demo

android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。

Deep contextualized word representations（ELMo）

将Emlo模型好好研究以下，全部将其搞定，会先不断的读论文，慢慢地培养自己的论文思维。

kuxingseng123的博客 910

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

论文阅读：Deep contextualized word representations

NAACL 18 Best Paper 本文再度提醒我们，deep learning的精髓在于representation，而NLP至今没有把最根本的表示——embedding和language model做好（没有下大气力去灌）。A good low-level representation can bring significant improvement that beyond our w...

Lcyztf的博客 5945

(论文笔记) Deep contextualized word representations

Deep contextualized word representations1. Introduction什么是一个好的词向量能够反映出语义和语法的复杂特征.能够准确的对不同上下文进行反应.deep contextualized 词向量的特点使用理念方面:在原先的词向量模型中, 每个词对应着一个向量, 但是这个模型是根据一个句子赋予每个词汇向量. 因此对于一个 n-tokens 的输入NLP任...

harry的博客 5998

Deep contextualized word representations 论文研读笔记

Deep contextualized word representations 论文研读笔记 Motivation 一个好的词向量模型应能够：反映出语义和语法的复杂特征反映出不同上下文多层LSTM的好处：可以刻画不同的语义信息，不同的输出适用于不同的任务。higher-level LSTM可以捕捉上下文独立的语义信息，适合做有监督的词义消歧任务；lower-level LSTM可...

weixin_36680155的博客 267

《Deep contextualized word representations》论文研读

本文作者推出了一种新的基于深度学习框架的词向量表征模型：ELMo（Embeddings from Language Models）模型，从缩写就可以看出模型本质是从语言模型而来的。一、常见词向量比较 1、ELMo 相对于 word2vec 、 glove 的优点？ Word2vec和glove都属于静态的词向量（知识点1：了解这两个的原理），无法解决一词多义的问题。 ...

Findingxu的博客 2271

上一篇： MAE，何凯明-2021

下一篇： CoT开山之作：Chain-of-Thought Prompting

ELMO论文笔记Deep contextualized word representations

泓源的博客

12-19

1725