大模型评估排障指南 | 关于可复现性

这是 大模型评估排障指南 系列文章的第三篇，敬请关注系列文章:

• 关于推理
• 关于 LATEX 公式解析
• 关于可复现性

假设你读了一篇最近的新模型技术报告，然后心血来潮想要在本机复现他们的结果，却发现根本没法复现，这是为什么？
让我们来探讨一下原因。

代码库不同

要想复现论文或报告的评估得分并精确到小数点，首先要确保使用的代码库一致。

一般情况下，你可以选择使用作者提供的默认评估代码，或者参考标准代码库实现，如 EleutherAI 的 lm_eval 或 HuggingFace 的 lighteval 等。但如果作者没有说明评估代码的来源，那很遗憾，基本上不太可能精确复现了。

如果你想知道为什么代码实现不一样会导致结果差异，可以参考这篇我们与 Hugging Face 评估团队共同撰写的 博客 (⭐)。博客中介绍了对 3 种常见 MMLU 评估代码 (lm_eval、helm、以及原作者实现) 的研究测试，重点解释了实现差异以及对模型得分的影响。

注：正因如此，Hugging Face 团队决定推出 Open LLM Leaderboard，以便统一规范，使得在排行榜上的模型得分之间的对比更加公正。