自动文摘评测方法：Rouge-1、Rouge-2、Rouge-L、Rouge-S

最新推荐文章于 2024-07-16 22:00:54 发布

小亮 Play NLP

最新推荐文章于 2024-07-16 22:00:54 发布

阅读量1.5k

点赞数

分类专栏： NLP 文章标签： NLP

NLP 专栏收录该内容

20 篇文章

订阅专栏

ROUGE是一种用于评估自动摘要质量的指标，通过比较系统生成摘要与标准摘要的n元词共现，衡量召回率。包括ROUGE-N、ROUGE-L等多种形式，广泛应用于自然语言处理领域。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

关于ROUGE

ROUGE（Recall-Oriented Understudy for Gisting Evaluation），在2004年由ISI的Chin-Yew Lin提出的一种自动摘要评价方法，是评估自动文摘以及机器翻译的一组指标。

ROUGE基于摘要中n元词(n-gram)的共现信息来评价摘要，是一种面向n元词召回率的评价方法。基本思想为由多个专家分别生成人工摘要，构成标准摘要集，将系统生成的自动摘要与人工生成的标准摘要相对比，通过统计二者之间重叠的基本单元(n元语法、词序列和词对)的数目，来评价摘要的质量。通过与专家人工摘要的对比，提高评价系统的稳定性和健壮性。

ROUGE准则由一系列的评价方法组成，包括ROUGE-N(N是n-gram中n，取值有1，2，3，4)，ROUGE-L，ROUGE-S, ROUGE-W，ROUGE-SU等。在自动文摘相关研究中，一般根据自己的具体研究内容选择合适的ROUGE方法。

ROUGE-N

ROUGE-N在Chin-Yew Lin的论文中是这样定义的：
在这里插入图片描述
分母是人工摘要（也就是标准摘要）中n-gram的个数，分子是人工摘要和机器生成的自动摘要共现（重合）的n-gram的个数。可以看出，ROUGE与召回率的定义很相似。

举例：

机器生成的自动摘要：
the cat was found under the bed
人工生成的标准摘要：
the cat was under the bed

如果我们只考虑单个单词，自动摘要和标准摘要之间的重叠单词数量为6。但是，这并不能作为度量标准。为了获得良好的定量值，我们实际上可以使用二者共线的n-gram数来计算精度和召回率。

ROUGE背景下的精度与召回

上面的例子中，ROUGE-1的值可以很容易计算出来，为 $\over 6}$ $R_{l c s}$ ，与上文所说的一般只考虑召回率对应。

优点

使用LCS的一个优点是它不需要连续匹配，而且反映了句子级词序的顺序匹配。由于它自动包含最长的顺序通用n-gram，因此您不需要预定义的n-gram长度。

缺点

只计算一个最长子序列，最终的值忽略了其他备选的最长子序列及较短子序列的影响。

应用场景

单文档摘要；短摘要评估。

Rouge-S

使用了skip-grams，在参考摘要和待评测摘要进行匹配时，不要求gram之间必须是连续的，可以“跳过”几个单词，比如skip-bigram，在产生grams时，允许最多跳过两个词。比如“cat in the hat”的 skip-bigrams 就是 “cat in, cat the, cat hat, in the, in hat, the hat”。