nopSled

摘要抽取式摘要会面临不相关，冗余和不连贯的影响。现有工作表明，用于抽取式摘要的摘要重写可以提高简洁性和可读性。这些重写系统将提取的摘要作为唯一的输入，它关注点相对集中，但可能会失去重要的背景知识。在本文中，我们提出了基于上下文的重写，其考虑了整个原始文档。我们将Contexualized Rewriting形式式化为具有组对齐方式的seq2seq问题，其中将组标签作为建模对齐的解决方案。结果表明，我们的方法显着优于非上下文的重写系统，而无需强化学习，并且在多种抽取式摘要方面取得了较高的ROUGE评分。1

摘要神经编码器-解码器模型在许多序列生成任务中已显示出巨大的成功。但是，以前的工作并未研究我们想要控制编码器-解码器输出长度的情况。此功能对于诸如文本摘要之类的应用至关重要，在该应用中，我们必须生成所需长度的简洁摘要。在本文中，我们提出了用于控制神经编码器-解码器模型的输出序列长度的方法：两种基于解码的方法和两种基于学习的方法。结果表明，基于学习的方法具有控制长度的能力，而不会降低文本摘要任务中的质量。（https://github.com/kiyukuta/lencon）1.介绍自从编码器-解码器方

摘要当前用于文本摘要的模型忽略了用户偏好，例如所需的长度，样式，用户可能感兴趣的实体或用户已经阅读了多少文档。我们提出了一种具有简单但有效机制的神经摘要模型，使用户能够指定这些高级属性，以便控制最终摘要的形式以更好地满足他们的需求。通过用户输入，我们的系统可以生成符合用户偏好的高质量摘要。在没有用户输入的情况下，我们会自动设置控制变量-在全文CNN-Dailymail数据集上，我们的表现优于最先进的抽象系统（在F1-ROUGE1 40.38与39.53 F1-ROUGE和人工评估方面）。1.介绍摘要将

摘要1.介绍2.方法3.评估

摘要在自然语言生成任务中，神经编码器-解码器模型已经取得了很大成功。但是，实际的文本摘要系统必须考虑其他约束条件，即所生成的摘要不应超过期望的长度。在本文中，我们提出了一种简单而有效的正弦位置编码的扩展方法，以使神经编码器-解码器模型能够具有长度约束。与以往的基于学习每个长度的嵌入表示的研究不同，即使训练数据中没有目标长度，所提出的方法也可以生成任意长度的文本。实验结果表明，该方法不仅可以控制生成长度，而且可以提高ROUGE得分。1.介绍　　神经编码器-解码器模型已成功应用于各种自然语言生成任务，包

摘要1.介绍2.任务定义

摘要

摘要

摘要生成式摘要的障碍之一是存在各种可能正确的预测。广泛用于监督学习的目标函数，例如交叉熵损失，无法有效处理其他可选答案。相反，它们会引入训练噪音。在本文中，我们提出了语义相似性策略，该策略可以在训练时考虑生成摘要的语义含义。我们的训练目标包括最大化语义相似度分数，该分数由一个附加层计算，该层估计生成的摘要和参考摘要之间的语义相似度。通过利用预先训练的语言模型，我们的模型在 CNN/DM 数据集上实现了新的最先进的性能，ROUGE-L 得分为 41.5。为了支持自动评估，我们还进行了人工评估，并获得了相对于

摘要

摘要复制模块已被广泛地用于最近的生成式摘要模型中，这有助于解码器将单词从源中提取到摘要中。通常，将编码器-解码器的注意力作为复制机制的概率分布，而如何确保复制源中的重要单词仍然是一个挑战。在这项工作中，我们提出了一个基于Transformer的模型来增强复制机制。具体来说，我们根据Transformer中的自注意力层建立的有向图的度中心性（Degree Centrality）确定每个源词的重要性。我们使用每个源词的中心性来明确地指导复制过程。实验结果表明，自注意力图为复制机制的概率分布提供了有益的指导。我

摘要

摘要

摘要

摘要我们提出了一种新的分治方法，用于对长文档进行神经摘要。我们的方法利用文档的论述结构，并使用句子相似性将问题分解为若干较小的摘要问题的集合。特别是，我们将一个较长的文档及其摘要分为多个【源-目标】对，它们用于训练一个模型，该模型分别学习生成文档的每个部分的摘要。然后将这些部分摘要进行组合，以生成最终的完整摘要。通过这种方法，我们可以将长文档摘要问题分解为更小和更简单的问题，从而减少计算复杂性并创建更多的训练样例，与标准方法相比，这些样例同时在目标摘要中包含的噪声更少。我们证明，此方法与不同的摘要模型（包

摘要

摘要BERT是一种预训练的Transformer模型，在多项NLP任务上均取得了突破性的性能。在本文中，我们描述了BERTSUM，它是BERT的简单变体，用于抽取式摘要。我们的系统是CNN/Dailymail数据集上最先进的系统，在ROUGE-L上的性能比以前的最佳系统高1.65。我们结果的代码可在https://github.com/nlpyang/BertSum获得1.介绍单文档摘要是自动生成较短版本的文档，同时保留其最重要信息的任务。由于该任务可用于各种信息访问的应用，因此它在自然语言处理中受到

摘要

摘要我们提出了一种通过神经网络生成超过数千个单词的长文档的文本摘要的方法。在生成摘要之前，我们执行一个简单的抽取步骤，然后将其用于根据相关信息对transformer语言模型进行条件调整，然后再负责生成摘要。实验表明，该抽取步骤显着改善了摘要结果。我们还表明，与以前采用复制机制的工作相比，该方法产生的摘要更多，同时仍然获得更高的rouge分数。注意：上面的摘要不是由作者编写的，它是根据本文提出的模型之一生成的。1.介绍　　语言模型（LM）经过大量文本语料训练，可以用于估计任意单词或字符序列的联合概率

摘要

摘要

摘要基于神经网络的文本摘要方法所产生的输出比其他技术更流畅，但是在内容选择上却表现不佳。这项工作提出了一种解决此问题的简单技术：使用数据有效的内容选择器去确定应该作为摘要一部分的源文档中的短语。我们将此选择器用作自下而上的注意力步骤，以将模型约束为可能的短语。我们证明了这种方法提高了压缩文本的能力，同时仍能生成流畅的摘要。与其他端到端内容选择模型相比，此两步过程既简单，性能又高，从而大大改善了CNN-DM和NYT语料库的ROUGE。此外，内容选择器可以用少于1,000个句子进行训练，从而轻松地将一个训练好

摘要神经序列到序列模型为抽象文本摘要提供了一种可行的新方法（这意味着它们不仅限于简单地从原始文本中选择和重新排列段落）。但是，这些模型有两个缺点：它们易于错误地再现事实细节，并且倾向于重复自己。在这项工作中，我们提出了一种新颖的体系结构，该体系结构以两种正交方式增强了标准序到序列的注意力模型。首先，我们使用混合指针生成器网络，该网络可以通过指针从源文本中复制单词，这有助于准确地复制信息，同时保留通过生成器生成新单词的能力。其次，我们使用覆盖率来跟踪已总结的内容，从而阻止重复。 我们将模型应用于CNN /