python attention机制_Attention机制在问答系统中的应用--attentive pooling networks

Attention机制在时序模型中的应用，已经被证明能够提升模型的性能。本文参考《Attentive pooling Networks》，该论文以时序模型输出状态设计Attention为基线(QA_LSTM_ATTENTION)，提出了一种同时对问题和答案进行特征加权的Attention设计方案。本文实现了论文中基于LSTM网络结构的Attention设计，即AP-BILSTM。

传统的Attention机制被应用于特征抽取器之后，例如QA_LSTM_ATTENTION。由于RNN算法用于处理时序特征的特点，隐含状态迭代更新，因此t时刻的状态包含了从开始到t时刻的所有信息。但是该attention设计仅仅只是通过问题对答案进行特征加权，而忽略了答案对问题的影响，本文考虑到可以同时将attention应用到问题和答案，从而提高算法的准确率，即attentive pooling。

AP-BILSTM算法

AP-BILSTM算法的设计是将问题和答案经过BILSTM抽取特征，然后通过问题和答案的特征计算soft  alignment，该矩阵包含了问题和答案相互作用的重要性得分，对该矩阵的列取最大，即可得到答案对问题的重要性得分，而对该矩阵行取最大，即可得到问题对答案的重要性得分。