机器学习--自注意力机制1 引入

一、输入为序列的情况

截至目前，我们讨论的都是网络的输入为一个向量的情况，
如果是回归问题，输出是一个标量，
如果是分类问题，输出是一个类别。

当输入是一组向量，并且输入的向量的数量是会改变的，即每次模型输入的序列长度都不一样，这个时候应该要怎么处理呢？

下面我们举例说明：

1.文字处理

假设网络的输入是一个句子，把句子里面的每一个词汇都描述成一个向量，用向量来表示，模型的输入就是一个向量序列，而且该向量序列的大小每次都不一样（句子的长度不一样，向量序列的大小就不一样）。

（1）独热编码

将词汇表示成向量最简单的做法是独热编码（之前多次提到的，只有对应维度为1，其余维度都是0），创建一个很长的向量，该向量的长度跟世界上存在的词汇的数量是一样多的，每一个维度对应到一个词汇。

但是这种表示方法有一个非常严重的问题，它假设所有的词汇彼此之间都是没有关系的。cat 和 dog 都是动物，它们应该比较像；cat 是动物，apple 是植物，它们应该比较不像。但从独热向量中不能看到这件事情，其里面没有任何语义的信息

（2）.词嵌入（word embedding）也可将词汇表示