【论文研读总结】基于结构位置的自注意力机制

目录

论文简介与作者

一句话简介

作者

摘要概括

区别

符号定义与公式

1.Self-Attention

2.Sequential Position Encoding（顺序位置编码）

关于序列中元素的绝对或相对位置的信息注入SAN

结构位置表述（采用树结构表示）

绝对位置定义

相对位置定义

3.将结构化PE集成到SAN中

绝对位置编码

使用非线性函数来融合序列和结构位置表示

相对位置编码

实验

数据集

实验步骤 

实验结果分析

个人总结

备注

论文简介与作者

一句话简介

SANs（Self Attention Networks, 自注意网络）+结构编码策略

作者

 

摘要概括

SANs(自注意网络)，我们使用依赖树来表示句子的语法结构，并提出了两种策略来编码依赖树中单词之间的位置关系。NIST中文版⇒英语和WMT14英语⇒德语翻译任务，绝对和相对顺序位置表示上都能始终如一地提高性能。

句子的潜在结构可以通过结构深度和距离来捕捉（Hewitt和Manning，2019）

---》我们提出了绝对结构位置来编码解析树中每个单词的深度，以及相对结构位置来对树中每个词对的距离进行编码。

区别：

我们将依赖树中的结构信息传输到SANs，深入关联句子内部信息。

符号定义与公式

1.Self-Attention

输入：X＝，

查询

其中为可训练参数

输出：

其中，为点积注意力模型