CodeFuse-13B: A Pretrained Multi-lingual Code Large Language Model

本文是LLM系列文章，针对《CodeFuse-13B: A Pretrained Multi-lingual Code Large Language
Model》的翻译。

摘要

代码大型语言模型（Code LLM）由于其在软件工程的整个生命周期中的广泛应用而在业界引起了极大的关注。然而，现有模型在理解多语言代码相关任务的非英语输入方面的有效性仍远未得到充分研究。本文介绍了CodeFuse-13B，一个开源的预训练代码LLM。它是专门为具有中英文提示的代码相关任务设计的，支持40多种编程语言。CodeFuse通过利用高质量的预训练数据集来实现其有效性，该数据集经过程序分析器的仔细过滤，并在训练过程中进行优化。使用真实世界的使用场景、行业标准基准HumanEval-x和专门为中文提示设计的CodefuseEval进行了广泛的实验。为了评估CodeFuse的有效性，我们积极从AntGroup的软件开发过程中收集有价值的人类反馈，CodeFuse已经成功部署。结果表明CodeFuse-13B实现了HumanEvalpass@1得分37.10%，将其定位为具有相似参数大小的顶级多语言代码LLM之一。在实际场景中，如代码生成、代码翻译、代码注释和测试用例生成，当遇到中文提示时，CodeFuse的性能优于其他模型。

1 引言

2 数据准备

3 训练

4 评估

5 相关工作

6 讨论，结论，未来工作

扩展MFT框架以支持开源模型。我们开发了一个多任务微调框架，并将其开源为MFTCoder。该框架可用于微调我们