[23ACL-findings] [Reference 1]DiffuSum: Generation Enhanced Extractive Summarization with Diffusion

DiffuSum: Generation Enhanced Extractive Summarization with Diffusion

论文信息：
来源：
IFM Lab, Department of Computer Science, University of California, Davis, CA, USA
haopeng,xiao,jiawei@ifmlab.org
作者：Haopeng Zhang∗, Xiao Liu∗, Jiawei Zhang

1.Motivation

• 大多数的抽取式摘要，通常被表述为一个序列标注问题，通过预测每一个句子的0/1标注，来判断句子是否包含在摘要中。而Ming Zhong, Pengfei Liu（2020）提出的MatchSum模型表示，summary-level的方法，更有利于生成一个好的摘要，但它仍然要先采用序列标注法来获取top-k的句子，才能进一步使用summary-level的方法。
• 由于生成模型具有更大的灵活性，并考虑了输入上下文的整体性，将生成模型应用于广泛的token-level序列标记任务，已经获取了成功（如：生成式摘要）。然而，如何将生成模型应用于sentence-level的任务，如抽取式摘要，尚未得到研究。
• 最近，已经有学者研究如何将diffusion models用于NLP文本生成任务中，并取得不错的结果。
• 因此，本文提出了一种新的摘要抽取范式DiffuSum，通过扩散模型直接生成所需的摘要句子表意，并基于句子表意匹配进行句子抽取。此外，DiffuSum联合优化了一个对比句编码器，该编码器具有匹配损失(用于句子表示对齐)和多类对比损失(用于表示多样性)。

2.Contribution

• 提出