weixin_45678627的博客

Swim transformer代码及环境配置

pyinn安装问题

ubuntu18.04安装cuda

Transformer的整体架构为 图1 大框架分为了Encoder和Decoder，其中最为特殊的结构就是Multi-Head Attention，就是多头注意力机制。现在先讲注意力机制（self-attention）： self-attention 这个结构是处理序列信息，RNN处理序列是需要处理前面的信息得到特征，然后根据前面的特征再得到后面信息的特征，所以是有先后关系的，如果我们要得到t时刻的特征，就要计算前t-1时刻的特征。而self-attention不需要，它最关键的优点是可以同时得到这个序列