Transformer学习

NLP入门

基本任务

语言模型

计算一个句子的概率

1. 整个句子的合理性

2. 下一个词的合理性

n元语言模型（统计）

一个词出现的概率只与前面 n 个词有关，符合马尔可夫链

存在数据稀疏问题，针对未登录词，采用平滑策略，分子分母都加入非 0 整数

神经网络语言模型

词向量

我们希望得到man-woman=king-queen这样的向量关系。

one-hot

对于独热表示的向量，如果采用余弦相似度计算向量间的相似度，可以明显的发现任意两者向量的相似度结果都为 0，即任意二者都不相关，也就是说独热表示无法解决词之间的相似性问题。

Word Embedding

Word2Vec 有两种训练方法：

1. 第一种叫 CBOW，核心思想是从一个句子里面把一个词抠掉，用这个词的上文和下文去预测被抠掉的这个词；
2. 第二种叫做 Skip-gram，和 CBOW 正好反过来，输入某个单词，要求网络预测它的上下文单词。

存在的问题：不能表示一个词的多重意思

ELMO

from me 问题：训练得到的词向量如何表示？一个词有多种上下文岂不是有无数个向量来表示？怎么用到测试语料？

存在缺陷：lstm，无法并行运算，效率低

注意力机制

人在看一个东西时会自动先观察重要的部分，比如面基先看对方的脸和身材，在深度学习中我们把这种叫做注意力机制，重点关注什么注意力就要在哪里。

Q——观察者

V——被观察的东西

K——与V有关，可以指导Q在V焦点在哪里

1.QK相乘求相似度

2.做scale防止softmax之后差距过大

3.softmax求得概率（重要概率）

4.和V相乘得到有重点的V

自注意力机制

QKV同源

Transformer

BERT

GPT