文本摘要可助读者获取重要信息，但多数预训练语言模型难以处理长文本。本文提出多阶段框架SUMMN，先拆分数据生成粗摘要，再生成细摘要，能处理任意长度输入，可用于单源文档和对话。实验证明其在多个数据集上优于先前方法。
sumn:用于长输入对话和文档的多阶段摘要框架
Abstract
文本摘要帮助读者从文件、新闻、采访和会议中获取重要信息。然而，大多数先进的预训练语言模型(LM)无法有效地处理许多摘要任务的长文本。在本文中，我们提出了一个简单、灵活和有效的多阶段框架SUMMN，用于输入文本大于典型预训练lm的最大上下文长度。SUMMN首先拆分数据样本并在多个阶段生成粗摘要，然后在此基础上生成最终的细粒度摘要。我们的框架可以在保持LM输入大小固定的情况下，通过调整分段数来处理任意长度的输入文本。此外，它可以处理单源文档和对话，并且可以在不同的骨干抽象摘要模型之上使用。据我们所知，sumn是第一个用于长输入汇总的多阶段拆分-然后汇总框架。我们的实验证明，SUMMN通过提高三个长会议摘要数据集AMI、ICSI和QMSum、两个来自SummScreen的长电视剧数据集和一个长文档摘要数据集GovReport上的ROUGE得分，优于之前最先进的方法。Our data and code are available at https://github.com/ psunlpgroup/Summ-N.
扫一扫
到【灌水乐园】发言
