DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence

本文是LLM系列文章，针对《DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence》的翻译。

摘要

大型语言模型的快速发展使软件开发中的代码智能发生了革命性的变化。然而，闭源模型的优势限制了广泛的研究和开发。为了解决这一问题，我们推出了DeepSeek编码器系列，这是一系列大小从1.3B到33B的开源代码模型，在2万亿token上从头开始训练。这些模型是在高质量的项目级代码语料库上预训练的，并使用具有16K窗口的填空任务来增强代码生成和填充。我们的广泛评估表明，DeepSeek Coder不仅在多个基准测试的开源代码模型中实现了最先进的性能，而且超过了Codex和GPT-3.5等现有的闭源代码模型。此外，DeepSeek编码器模型受许可，允许研究和不受限制的商业使用。

1 引言

2 数据收集

3 训练策略

4 实验结果

5 从通用LLM的持续预训练

6 结论

在本技术报告中，我们介绍了一系列用于编码的专用大型语言模型（LLM