浪漫的诗人博客

例如，在分类任务中，我们可以将嵌入维度的表示映射到类别数量的输出空间，并通过softmax函数或其他激活函数得到最终的预测概率。在Transformer模型中，为了捕捉不同子空间中的信息，会使用多头注意力机制，即并行地运行多个自注意力机制，然后将结果合并。即自注意力机制，这是一种特殊的注意力机制，它允许输入序列中的元素相互之间计算注意力权重，这在Transformer模型中得到了广泛应用。最后，我们使用一个输出层将加权求和得到的表示转换为最终的输出，这可以是分类任务的类别概率，也可以是其他任务的预测结果。

此时，在绿色长条那部分的神经元个数和我们输入进来的特征层的通道数是一样的，每一个神经元对应一个通道，最后我们将绿色的结果乘上我们输入进来的特征层（最左边的立方体），就完成这个注意力机制的添加了。第一次全连接神经元个数（out_features）比较少，第二次比较多和我们输入进来的特征层的通道数一样，最后取一个sigmoid把值固定在0-1之间，相当于我们每一个通道的权值，每一个神经元对应每一个通道，fc既就是每一个通道的权值。原有的输入进来的特征层（最左边的这个立方体），即完成了空间注意力的施加。