词向量-ELMo介绍

ELMo是NAACL 2018的优秀论文提出的深度上下文化词向量,解决了词向量的一词多义问题。通过在大规模语料中训练双向LSTM语言模型,ELMo的词向量会根据上下文动态生成,既包含高层的语义信息,也保留了底层的语法特性。在多项NLP任务中,如文本蕴含、问答、语义角色标注等,ELMo都取得了显著的性能提升。
部署运行你感兴趣的模型镜像

原文出自彼得攀的小站

Deep contextualized word representations 获得了NAACL 2018的outstanding paper award,其方法有很大的启发意义,本文则是对其做了一个简要梳理。

Motivation

  • 预训练的word representation在NLP任务中表现出了很好的性能,已经是很多NLP任务不可或缺的一部分,论文作者认为一个好的word representation需要能建模以下两部分信息:
    • 单词的特征,如语义,语法
    • 单词在不同语境下的变化,即一词多义
  • 之前很多工作的word representation是固定的,如word2vec/glove等word representation对于一个词,其向量是固定的,无法很好的处理一词多义的情况

Introduction

基于上述原因,论文作者提出了Deep contextualized word representation来解决这个问题,算法大致过程如下:

  • 在大规模语料中利用bidirectional LSTM模型训练语言模型(language model),ELMo(Embedding from language model)也由此得名
  • 为了应用到下游任务,利用下游任务的语料库(无需label)对预训练的语言模型进行微调,然后再利用下游任务有标注的数据进行supervised learning

简单来说,ELMo模型是从深层的双向语言模型(deep bidirectional language model)中的内部状态(internal state)学习而来的

相较于之前的工作,ELMo的特点有:

  • Embedding是“deep"的,这体现在ELMo是biLM(bi-Language model)内部所有层的综合,这样可以有充分的信息来建模word representation:
    • Higher-level LSTM states可以捕获上下文相关的语义信息,不用修改就可以用来做词义消歧
    • Lower-level LSTMstates 可以捕获语法相关的信息,可以用作词性标注任务
      ELMo综合了上述信息,而之前的工作只利用了top LSTM layer的信息
  • 其词向量是动态的,即根据当前上下文环境来产生当前词向量,而不是一个固定的外部词向量

Bidirectional language model

语言模型的双向体现在对句子的建模:给定一个 N N N个token的句子, ( t 1 , t 2 , … , t N ) \left(t_{1}, t_{2}, \ldots, t_{N}\right) (t1,t2,,tN)

  • 前向语言模型:从历史信息预测下一个词,即从给定的历史信息 ( t 1 , … , t k − 1 ) \left(t_{1}, \ldots, t_{k-1}\right) (t1,,tk1)建模下一个token t k t_k tk的概率
    p ( t 1 , t 2 , … , t N ) = ∏ k = 1 N p ( t k ∣ t 1 , t 2 , … , t k − 1 ) p\left(t_{1}, t_{2}, \ldots, t_{N}\right)=\prod_{k=1}^{N} p\left(t_{k} | t_{1}, t_{2}, \ldots, t_{k-1}\right) p(t1,t2,,tN)=k=1Np(tkt1,t2,,tk1)
    对于一个L层的LSTM,设其输入是 x k L M x_k^{LM} xkLM (token embedding),每一层都会输出一个context-dependent representation h → k , j L M \overrightarrow \mathbf{h}_{k, j}^{L M} h k,jLM,LSTM的最后一层输出为 h → k , L L M \overrightarrow \mathbf{h}_{k, L}^{L M} h k,LLM,该输出会在Softmax layer被用来预测下一个token t k + 1 t_{k+1} tk+1
  • 后向语言模型:从未来信息预测上一个词,即从给定的未来 ( t k + 1 , … , t N ) \left(t_{k+1}, \ldots, t_{N}\right) (tk+1,,tN)建模上一个token t k t_k tk的概率
    p ( t 1 , t 2 , … , t N ) = ∏ k = 1 N p ( t k ∣ t k + 1 , t k + 2 , … , t N ) p\left(t_{1}, t_{2}, \ldots, t_{N}\right)=\prod_{k=1}^{N} p\left(t_{k} | t_{k+1}, t_{k+2}, \ldots, t_{N}\right) p(t1,t2,,tN)=k=1Np(tktk+1,tk+2,,tN)
    同样地,对于一个L层的LSTM,设其输入是 x k L M x_k^{LM} xkLM (token embedding),每一层都会输出一个context-dependent representation h ← k , j L M \overleftarrow \mathbf{h}_{k, j}^{L M} h k,jLM,LSTM的最后一层输出为 h ← k , L L M \overleftarrow \mathbf{h}_{k, L}^{L M} h k,LLM,该输出会在Softmax layer被用来预测上一个token t k − 1 t_{k-1} tk1

双向语言模型是前向、后向的一个综合,通过两个方向的对数极大似然估计来完成:
∑ k = 1 N ( log ⁡ p ( t k ∣ t 1 , … , t k − 1 ; Θ x , Θ ⃗ L S T M , Θ s ) + log ⁡ p ( t k ∣ t k + 1 , … , t N ; Θ x , Θ ← L S T M , Θ s ) ) \begin{array}{l}{\sum_{k=1}^{N}\left(\log p\left(t_{k} | t_{1}, \ldots, t_{k-1} ; \Theta_{x}, \vec{\Theta}_{L S T M}, \Theta_{s}\right)\right.} \\ {\left.\quad+\log p\left(t_{k} | t_{k+1}, \ldots, t_{N} ; \Theta_{x}, \overleftarrow \Theta_{L S T M}, \Theta_{s}\right)\right)}\end{array} k=1N(logp(tkt1,,tk1;Θx,Θ LSTM,Θs)+logp(tktk+1,,tN;Θx,Θ LSTM,Θs))
其中:

  • Θ x \Theta_{x} Θx是token embedding
  • Θ s \Theta_{s} Θs代表softmax layer的参数

biLM利用了biLSTM,biLSTM在前向和后向两个方向上共享了部分权重

ELMo

对于一个token,ELMo会计算 2 L + 1 2L+1 2L+1个representation(输入的一个token embedding和前向、后向的2L个representation):
R k = { x k L M , h → k , j L M , h ← k , j L M ∣ j = 1 , … , L } = { h k , j L M ∣ j = 0 , … , L } \begin{aligned} R_{k} &=\left\{\mathbf{x}_{k}^{L M}, \overrightarrow{\mathbf{h}}_{k, j}^{L M}, \overleftarrow \mathbf{h}_{k, j}^{L M} | j=1, \ldots, L\right\} \\ &=\left\{\mathbf{h}_{k, j}^{L M} | j=0, \ldots, L\right\} \end{aligned} Rk={xkLM,h k,jLM,h k,jLMj=1,,L}={hk,jLMj=0,,L}
其中:

  • h k , 0 L M \mathbf{h}_{k, 0}^{L M} hk,0LM是token layer
  • h k , j L M = [ h → k , j L M ; h ← k , j L M ] , \mathbf{h}_{k, j}^{L M}=\left[\overrightarrow{\mathbf{h}}_{k, j}^{L M} ; \overleftarrow{\mathbf{h}}_{k, j}^{L M}\right], hk,jLM=[h k,jLM;h k,jLM], 代表biLSTM layer

在下游任务中,ELMo将 R R R的所有层压缩成一个向量 E L M o k = E ( R k ; Θ e ) \mathbf{E L M o k}=E\left(R_{k} ; \Theta_{e}\right) ELMok=E(Rk;Θe)(在最简单的情况下,也可以只使用最后一层 E ( R k ) = h k , L L M E\left(R_{k}\right)=\mathbf{h}_{k, L}^{L M} E(Rk)=hk,LLM
E L M o k t a s k = E ( R k ; Θ t a s k ) = γ t a s k ∑ j = 0 L s j t a s k h k , j L M \mathbf{E L M o}_{k}^{t a s k}=E\left(R_{k} ; \Theta^{t a s k}\right)=\gamma^{t a s k} \sum_{j=0}^{L} s_{j}^{t a s k} \mathbf{h}_{k, j}^{L M} ELMoktask=E(Rk;Θtask)=γtaskj=0Lsjtaskhk,jLM
其中:

  • s t a s k s_{task} stask是softmax正则化权重参数
  • γ task \gamma^{\text {task}} γtask是一个标量,可以让下游任务来放缩ELMo向量

从上述计算过程可以看出,ELMo是biLM多层输出的线性组合

在supervised NLP tasks中使用ELMo

给定一个 N N N个token的句子, ( t 1 , t 2 , … , t N ) \left(t_{1}, t_{2}, \ldots, t_{N}\right) (t1,t2,,tN),supervised NLP model处理的标准过程的输入是context-independent token词向量 x k x_k xk,加入ElMo有两种方式:

  1. 直接将ELMo词向量 E L M o k ELMo_k ELMok和普通词向量 x k x_k xk拼接得到 [ x k ; E L M o k t a s k ] \left[\mathbf{x}_{k} ; \mathbf{E L M o}_{k}^{t a s k}\right] [xk;ELMoktask]作为model输入
  2. 将ELMo词向量 E L M o k ELMo_k ELMok和隐藏层输出 h k h_k hk进行拼接得到 [ h k ; E L M o k t a s k ] \left[\mathbf{h}_{k} ; \mathbf{E} \mathbf{L} \mathbf{M} \mathbf{o}_{k}^{t a s k}\right] [hk;ELMoktask]

Evaluation

  • Textual entailment:
    stanford natural language inference (SNLI)数据集上提升了1.4%。
  • Question answering:
    在stanford question answering dataset (SQuAD)数据集上提升了4.2%,将ELMo加入到之前的state-of-the-art的ensemble模型中,提升了10%。
  • Semantic role labeling:
    比之前的state-of-the-art模型提高了3.2%,将ELMo加入到之前的state-of-the-art的单模型中,提升了1.2%。
  • Coreference resolution:
    比之前的state-of-the-art模型提高了3.2%,将ELMo加入到之前的state-of-the-art的ensemble模型中,提升了1.6%。
  • Named entity extraction:
    在CoNLL 2003 NER task数据机上提高了2.06%
  • Sentiment analysis:
    比之前的state-of-the-art模型提高了3.3%,将ELMo加入到之前的state-of-the-art模型中,提升了1%。

如何在代码中使用ELMo

使用ELMo预训练模型

pip install allennlp

参考官方主页AllenNLP

自己训练ELMo

TensorFlow:

Pytorch:

您可能感兴趣的与本文相关的镜像

Qwen3-VL-30B

Qwen3-VL-30B

图文对话
Qwen3-VL

Qwen3-VL是迄今为止 Qwen 系列中最强大的视觉-语言模型,这一代在各个方面都进行了全面升级:更优秀的文本理解和生成、更深入的视觉感知和推理、扩展的上下文长度、增强的空间和视频动态理解能力,以及更强的代理交互能力

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值