Self-Attention详解

Sequence数据的处理

Self-Attention是用来处理Sequence数据的。
输入是Vector Set（Sequence）。
比如:

1. 输入是一段文字：每个字会对应一个vector。（编码方式：①one-hot编码；②word embedding）
2. 输入是一段声音信号：设置window（一般window的大小是25ms），每个window中的声音信号作为一个vector。（例：如果window滑动的step=10ms，window大小是25ms，那么1s的声音信号可以转化为100个vector的集合）
3. 输入是一个Graph：每个node是一个vector。（向量是node的特征）

输出是什么？

1. 每个输入的vector对应一个label：词性标注任务
2. 整个sequence输入一个label：情感分析、语者辨认
3. 机器决定输出的label的个数（Seq2Seq任务）：翻译

Sequence Labeling（输入和输出的大小一样）

希望网络可以考虑整个sequence的信息。

首先想到全连接网络，但是每个输入的sequence的长度是不确定的，因此如果想要使用全连接网路哈哈哈没法确定神经元的个数~~

所以，使用Self-