文献阅读笔记—Deep contextualized word representations

迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！

（一）ELMO：Deep contextualized word representations

（二）Universal Language Model Fine-tuning for Text Classification

（三）openAI GPT：Improving Language Understanding by Generative Pre-Training

（四）BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding

1. 问题描述

这是NAACL 2018的最佳论文。本笔记结合原文使用更佳哦。

以前的词向量都是与上下文无关的词向量，比如用word2vec训练的时候，使用单层神经网络，通过几个周围单词预测中心单词，但是这几个周围单词的顺序并不重要，而且生成的词向量只是代表一种统计意义上最大概率上的语义，即生成的词向量与句法、放入某个特定环境的语义等没有太多关联。

本文采用多层、双向LSTM结构，采用