Instruction-Following Evaluation for Large Language Models

本文是LLM系列文章，针对《Instruction-Following Evaluation for Large Language Models》的翻译。

摘要

大型语言模型（LLM）的一个核心功能是遵循自然语言指令。然而，对这些能力的评估并不是标准化的：人类评估是昂贵的、缓慢的，并且不能客观地再现，而基于LLM的自动评估可能会受到评估者LLM能力的偏见或限制。为了克服这些问题，我们为大型语言模型引入了Instruction Following Eval（IFEval）。IFEval是一个简单易用的评估基准。它专注于一组“可验证的指令”，如“写400多个单词”和“至少3次提到人工智能的关键词”。我们确定了25种可验证指令，并构建了大约500个提示，每个提示包含一个或多个可验证指令。我们展示了市场上两种广泛可用的LLM的评估结果。我们的代码和数据可以在https://github.com/google-research/google-research/tree/master/instruction_following_eval上找到。

1 引言

2 可验证指令

3 评估结果

4 讨论与未来工作

我们建议使用一组可验证的指令来评估LLM的指令跟随能力。我们的方法IFEval是一种易于复制、无偏见和自动化的方法。
尽管有上述所有优点，但目前IFEval的实施可以在许多方面得到改进。特别是：

<