通过BLEU得分评价LLM模型

在使用LLM模型处理任务时，经常需要判断模型的输出是否达到了业务的要求。这里就需要一个验证集以及一个自动验证的工具。对于生成式的模型BLEU是一个简单好用的评判方式。

BLEU指标的优点包括：

• 简单、易用和可解释性强。它基于文本相似度计算方法，可以直观地反映出机器输出文本的质量 

BLEU也存在一些局限性：

• 只考虑了文本的表面相似度，而忽略了语义层面的匹配度。对于一些语义复杂的句子，BLEU可能无法准确地反映出它的质量。
• 对参考答案的数量和质量非常敏感。如果参考文本质量不高或者数量不足，BLEU分数的可靠性可能会受到影响。

通过业务给定一批任务和任务处理的标准答案。设置一个完整的比对流程，对模型和prompt进行评判，并优化prompt，提升模型输出。