ELMo模型

论文地址：
https://arxiv.org/abs/1802.05365

前言

在之前2013年的word2vec及2014年的GloVe的工作中，每个词对应一个vector，对于多义词无能为力。ELMo的工作对于此，提出了一个较好的解决方案。不同于以往的一个词对应一个向量，是固定的。在ELMo世界里，预训练好的模型不再只是向量对应关系，而是一个训练好的模型。使用时，将一句话或一段话输入模型，模型会根据上线文来推断每个词对应的词向量。这样做之后明显的好处之一就是对于多义词，可以结合前后语境对多义词进行理解。比如appele，可以根据前后文语境理解为公司或水果。

ELMO的本质思想是：事先用语言模型在一个大的语料库上学习好词的word embedding，但此时的多义词仍然无法区分，不过没关系，我们接着用我们的训练数据（去除标签）来fine-tuning 预训练好的ELMO 模型。作者将这种称为domain transfer。这样利用我们训练数据的上下文信息就可以获得词在当前语境下的word embedding。

模型结构

ELMO 基于语言模型的，确切的来说是一个 Bidirectional language models，也是一个 Bidirectional LSTM结构。我们要做的是给定一个含有N个tokens的序列：

$$t_1,t_2,...,t_N$$

其前向表示为：

$$p(t_1,t_2...t_N)=\prod _{k=1}^{N}p(t_k|t_1,t_2...t_{k-1})$$

反向表示为：

$$p(t_1,t_2...t_N)=\prod _{k=1}^{N}p(t_k|t_{k+1},t_{k+2}...t_N)$$

从上面的联合概率来看是一个典型的语言模型，前向利用上文来预测下文，后向利用下文来预测上文。假设输入的token是 $x_k^{LM}$，在每一个位置 k ，每一层LSTM 上都输出相应的context-dependent的表征 ${\overrightarrow{h}}_{k,j}^{LM}$。这里 $j=1,2,...,L$， L表示LSTM的层数。顶层的LSTM 输出 ${\overrightarrow{h}}_{k,L}^{LM}$ ，通过softmax层来预测下一个 $toke{n}_{k+1}$。

对数似然函数表示如下：

$$\sum _{k=1}^N(logp(t_k|t_1,t_2...t_{k-1};{\Theta }_x,{\overrightarrow{\Theta }}_{LSTM},{\Theta }_s)+logp(t_k|t_{k+1},t_{k+2}...t_N;{\Theta }_x,{\overleftarrow{\Theta }}_{LSTM},{\Theta }_s))$$

模型的结构图如下：

ELMO 模型不同于之前的其他模型只用最后一层的输出值来作为word embedding的值，而是用所有层的输出值的线性组合来表示word embedding的值。

对于每个token，一个L层的biLM要计算出 2L+1 个表征：

Rk={xkLM,h→k,jLM,h←k,jLM∣j=1...L}={hk,jLM∣j=0,1...L}R_k=\{x^{LM}_k, \overrightarrow{h}_{k, j}^{LM},\overleftarrow{h}_{k, j}^{LM}|j=1...L \} \\ =\{ h_{k, j}^{LM}|j=0,1...L \}Rk​={xkLM​,hk,jLM​,hk,jLM​∣j=1...L}={hk,jLM​∣j=0,1...L}

在下游任务中会把 $R_k$ 压缩成一个向量：

$$ELM{o}^{task}=E(R_k;{\Theta }^{task})={\gamma }^{task}\sum _{j=0}^L{s}_j^{task}{h}_{k,j}^{LM}$$

其中 $s_j^{task}$是softmax标准化权重，${\gamma }^{task}$是缩放系数，允许任务模型去缩放整个ELMO向量。

使用方法

1）在大的语料库上预训练 biLM 模型。模型由两层bi-LSTM 组成，模型之间用residual connection 连接起来。而且作者认为低层的bi-LSTM层能提取语料中的句法信息，高层的bi-LSTM能提取语料中的语义信息。

2）在我们的训练语料（去除标签），fine-tuning 预训练好的biLM 模型。这一步可以看作是biLM的domain transfer。

3）利用ELMO 产生的word embedding来作为任务的输入，有时也可以即在输入时加入，也在输出时加入。

论文实验

ELMo学到了什么

加入elmo之后，可以明显将play的两种含义区分出来，而GLoVe并不能。所以答案很明显。

Word sense disambiguation（词义消歧）

biLM表示我们的模型。第一层，第二层分别使用的结果显示，越高层，对语义理解越好，表示对词义消歧做的越好。这表明，越高层，越能捕获词意信息。

POS tagging（词性标注）

这是另一个任务的实验了，第一层效果好于第二层。表明，低层的更能学到词的句法信息和词性信息。

参考

https://www.cnblogs.com/jiangxinyang/p/10060887.html

https://zhuanlan.zhihu.com/p/51679783