DiffuSum: Generation Enhanced Extractive Summarization with Diffusion
论文信息:
来源:
IFM Lab, Department of Computer Science, University of California, Davis, CA, USA
haopeng,xiao,jiawei@ifmlab.org
作者:Haopeng Zhang∗, Xiao Liu∗, Jiawei Zhang
1.Motivation
- 大多数的抽取式摘要,通常被表述为一个序列标注问题,通过预测每一个句子的0/1标注,来判断句子是否包含在摘要中。而Ming Zhong, Pengfei Liu(2020)提出的MatchSum模型表示,summary-level的方法,更有利于生成一个好的摘要,但它仍然要先采用序列标注法来获取top-k的句子,才能进一步使用summary-level的方法。
- 由于生成模型具有更大的灵活性,并考虑了输入上下文的整体性,将生成模型应用于广泛的token-level序列标记任务,已经获取了成功(如:生成式摘要)。然而,如何将生成模型应用于sentence-level的任务,如抽取式摘要,尚未得到研究。
- 最近,已经有学者研究如何将diffusion models用于NLP文本生成任务中,并取得不错的结果。
- 因此,本文提出了一种新的摘要抽取范式DiffuSum,通过扩散模型直接生成所需的摘要句子表意,并基于句子表意匹配进行句子抽取。此外,DiffuSum联合优化了一个对比句编码器,该编码器具有匹配损失(用于句子表示对齐)和多类对比损失(用于表示多样性)。
2.Contribution
- 提出