文章介绍了评估自然语言生成任务性能的五个关键指标：Perplexity衡量语言模型的预测能力，BLEU通过n-gram重叠度评估生成质量，ROUGE关注召回率，METEOR考虑词汇、语法和语义相似度，CIDEr针对图像描述任务，而MoverScore评估语义距离。这些指标各有侧重点，适用于不同的应用场景。
1.Perplexity
Perplexity（困惑度）是衡量语言模型预测能力的指标。它是给定一个测试集后，模型为了预测该测试集上的下一个词，所需要的平均困惑度。困惑度越低，模型的预测效果越好。
公式：Perplexity=2−1N∑i=1Nlog2P(wi∣w1,w2,...,wi−1)Perplexity = 2^{-\frac{1}{N}\sum_{i=1}^{N}log_2P(w_i|w_1,w_2,...,w_{i-1})}Perplexity=2−N1∑i=1Nlog2P(wi∣w1,w2,...,wi−1)
其中，NNN为测试集中的词数，P(wi∣w1,w2,...,wi−1)P(w_i|w_1,w_2,...,w_{i-1})P(wi∣w1,w2,...,wi−1)是给定前i−1i-1i−1个词的条件下预测第iii个词的概率。
举例：假设测试集中有100个词，我们的语言模型在预测这些词时，平均每个词的困惑度为10。则该模型的Perplexity为2−1100∑i=1100log2P(wi∣w1,w2,...,wi−1)=210=10242^{-\frac{1}{100}\sum_{i=1}^{100}log_2P(w_i|w_1,w_2,...,w_{i-1})} = 2^{10} = 10242−1001∑i=1100log2P(wi∣w1,w2,...,wi−1)=210=1024。
2.BLEU
BLEU（双语评估下的语言理解度）是用于自然语言生成任务的评估指标。它通过计算生成的句子与参考答案之间的n-gram重叠度来衡量生成结果的质量。BLEU的值越高，表示生成结果越接近参考答案。
公式：BLEU=BP⋅exp(∑n=1Nwnlogpn)BLEU = BP \cdot exp(\sum_{n=1}^Nw_nlogp_n)BLEU
最低0.47元/天 解锁文章
扫一扫
934
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
