Self-Attention Guided Copy Mechanism for Abstractive Summarization---ACL 2020

仅仅是记录一下最近阅读的论文，前段时间也没怎么记录，有些论文看过也忘记了！

这篇论文是文本摘要CNN/DM数据集上达到了SOTA的效果，发表于ACL 2020.

按照文章整体脉络整理信息，细节内容后面看有时间在仔细阅读整理一下吧。

论文链接：Self-Attention Guided Copy Mechanism for Abstractive Summarization

ps. 没找到论文源码，所以具体实现细节还有待了解，顺便蹲个论文源码链接。

1. 论文提出背景

复制模块是最近抽象式摘要模型里面广泛使用的模块，这个模块使得decoder可以从源文档中提取单词作为摘要。通常来说，encoder-decoder注意力分数作为复制分布，然而如何保证源句中的重要单词被复制仍然是一个主要的挑战。

本文主要需要解决的问题就是如何更加合理的确定源句中单词的copy distribution。复制分布就是源句中每个单词每个时间刻的概率分布大小。本文采用的基础模型还是指向生成器网络，看论文后面的内容也可以看出来，文中也计算了Pgen和Pvocab的概率。

2. 本文主要贡献

• 本文提出了基于文本摘要源句单词的中心度为指向的复制机制，中心度的获取通过入度和出度计算来度量。
• 本文提出了中心度感知（ centrality-aware）的注意力，并且提出了一个以损失为导向的模型，使得模型可以对源句中重要的单词有更多的关注。
• 本文在公开的文本摘要数据集上达到了S