本文介绍了自然语言处理中的评价指标，包括Perplexity、ROUGE、BLEU、ROC和AUC以及F1-score。Perplexity用于衡量语言模型的复杂性，ROUGE是生成式摘要的评价标准，BLEU评估机器翻译和对话生成，ROC和AUC是分类器性能的度量，F1-score综合了精确率和召回率。
1 Perplexity
公式如下所示：
P P L ( S ) = P ( w 1 w 2 . . . w N ) − 1 N l o g P P L ( S ) = − l o g P ( w 1 w 2 . . . w N ) N = − ∑ i = 1 N l o g P ( w i ∣ w 1 . . . w i − 1 ) N PPL(S)=P(w_1w_2...w_N)^{-\frac{1}{N}}\\ logPPL(S)=\frac{-logP(w_1w_2...w_N)}{N}=\frac{-\sum_{i=1}^{N}logP(w_i|w_1...w_{i-1})}{N} PPL(S)=P(w1w2...wN)−N1logPPL(S)=N−logP(w
最低0.47元/天 解锁文章
扫一扫
606
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
