学习几种LLM的评分方法

BLEU（Bilingual Evaluation Understudy）评分

BLEU（Bilingual Evaluation Understudy）是一种广泛用于评估机器翻译和自然语言生成任务质量的指标。BLEU-4评分是基于四个n-gram（从单个词到四词组合）匹配度的加权几何平均值，旨在衡量生成文本与参考文本之间的相似性

n-gram 精确度

对于每个n-gram（n=1,2,3,4），计算生成文本中n-gram在参考文本中出现的比例。例如：

Unigram (1-gram)：单独词汇的匹配比例。

Bigram (2-gram)：两个连续词汇的匹配比例。

Trigram (3-gram)：三个连续词汇的匹配比例。

Four-gram (4-gram)：四个连续词汇的匹配比例。

 from nltk.translate.bleu_score import sentence_bleu
 reference = [['this', 'is', 'a', 'test'], ['this', 'is' 'test']]
 candidate = ['this', 'is', 'a', 'test']
 score = sentence_bleu(reference, candidate)
 print(score)
1.0

ROUGE

ROUGE指标是在机器翻译、自动摘要、问答生成等领域常见的评估指标。
ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是比BLEU更适合的评估指标，尤其擅长评估临床报告生成、医学摘要等任务。

ROUGE-L

Clinical Accuracy Score

Drug-Drug Interaction (DDI) Detection