科研是如何产生的——attention机制motivation

在传统的Seq2Seq模型中，encoder和decoder一般采用LSTM。decoder使用encoder最后一个隐藏状态和前一时刻的输出来进行本时刻的解码，这就导致每一时刻解码使用的序列隐藏信息是相同的，这本身是一件不合理的事情。为了解决这一不合理的点，attention机制就被提了出来。decoder每次解码的时候不是使用最后一个隐藏状态了，而是对所有隐藏状态进行加权求和，也就是雨露均沾一下，每一个隐藏状态都会用到，至于使用多少，那就是由其对应的权重决定，这个权重是可训练了量，具体的细节就不在本文中赘述了，网上有很多优质的博客讲解。本文只是一个随笔，在看论文的过程中对这个点有了新的认识随手记下来。