CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Benchmarking on HumanEval-X

本文是LLM系列文章，针对《CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Benchmarking on HumanEval-X》的翻译。

摘要

大型预训练的代码生成模型，如OpenAI Codex，可以生成语法和功能正确的代码，使程序员的编码更加高效，我们对通用人工智能的追求更加紧密。本文介绍了CodeGeeX，这是一个具有130亿个参数的多语言模型，用于代码生成。截至2022年6月，CodeGeeX已对23种编程语言的8500亿个代币进行了预训练。我们广泛的实验表明，CodeGeeX在HumanEval-X上的代码生成和翻译任务上都优于类似规模的多语言代码模型。在HumanEval（仅限Python）的基础上，我们开发了HumanEval-X基准，通过用C++、Java、JavaScript和Go手写解决方案来评估多语言模型。此外，我们还在Visual Studio Code、JetBrains和Cloud Studio上构建基于CodeGeeX的扩展，每周为数万名活跃用户生成47亿个token。我们的用户研究表明，CodeGeeX可以帮助83.4%的用户提高编码效率。最后，CodeGeeX是可公开访问的，在2022年9月，我们将其代码、模型权重（850Btoken的版本）