mHumanEval - A Multilingual Benchmark to Evaluate Large Language Models for Code Generation

本文是LLM系列文章，针对《mHumanEval - A Multilingual Benchmark to Evaluate Large Language Models for Code Generation》的翻译。

摘要

大型语言模型 （LLM） 的最新进展显著增强了从自然语言提示生成代码的能力。由 OpenAI 开发的 HumanEval 基准测试仍然是使用最广泛的代码生成基准测试。然而，这个和其他 Code LLM 基准测试面临着严重的限制，特别是在任务多样性、测试覆盖率和语言范围方面。当前的评估主要集中在测试用例有限的英语到 Python 转换任务上，可能会高估模型性能。虽然最近的工作解决了测试覆盖率和编程语言 （PL） 多样性，但从低资源语言提示生成代码在很大程度上仍未得到探索。为了解决这一差距，我们引入了 mHumanEval，这是一个支持 200 多种自然语言的提示的扩展基准测试。我们采用成熟的机器翻译方法来编译基准测试，并结合质量保证流程。此外，我们还为 15 种不同的自然语言 （NL） 提供专业的人工翻译。最后，我们分析了最先进 （SOTA） 代码 LLM 的多语言代码生成功能，从而提供了对跨语言代码生成的当前前景的见解。

1 引言

2 相关工作

3 mHumanEval基准

4 实验

5 洞察与分析

6 结论

本研究介绍了 mHumanEval，这是一个全面的多语言代码生成基准，用于评估 204 种语言的 LLM。我们为每种语言策划了高质量的提示，并评估了各种模型。我们的分析，包括消融研究，提供了对 LLM 多语言代码生成能力的见解