第三部分 :self-attention 自注意力机制

常见的输入：

1、编码为向量->one-hot Encoding 独热编码

缺点：1.维度太长，不好新增。2.向量距离相同，体现不出关系。

2、词编码：Word Embedding

常见的输出：

一、每个词都有输出一个值。

（1）RNN

（2）长短期记忆（LSTM）：1.输入门。2.遗忘门。3.记忆门

RNN和LSTM太慢了：只能一代接一代，没办法看完整篇文章，输出结果。

（3）.1Self-attention 自注意力机制：是一个特征转换器

BERT是一个特征提取器，自己预训练

Bert-Pre-Training:

1.MLM(Mask Language Model):80%数据遮挡、10%数据经过修改、10%数据不变

2.Next Sentence Prediction

Bert输入embedding

（3）.2多头自注意力机制

二、所有词输出一个值。

Bert输入pooler：1.只输出CLS；2.平均池化；3.最大池化；4.其他

三、输入输出长度不对应。

一：字的表示：one-hot Encoding 独热编码

二：为了知道上下文，引入RNN和LSTM

三：上面的模型，不能并行，速度慢，只能单向（也有双向模型）。所以引入Self-attention

四：Self-attention，每一个字加上位置都embedding，相加为token。之后，通过Q,K,V来交互，Q是Query，k是key，V是value。Q和K算出注意力，V按照注意力相加为输出。

五：Bert，是一个编码器，目的是是把一句话编码为特征。它采用自监督预训练获得特征提取能力。之后在下游任务可以提取特征后，让特征去做分类任务。

六：Bert的结构，三部分：1、embeddin层；2、Self-attention层让特征交互；3、pooler输出。