DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence

最新推荐文章于 2025-09-22 05:05:14 发布

UnknownBody

最新推荐文章于 2025-09-22 05:05:14 发布

阅读量558

点赞数

CC 4.0 BY-SA版权

分类专栏： LLM for code 文章标签：语言模型人工智能深度学习

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136476095

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

LLM for code

58 篇文章

订阅专栏

本文介绍了DeepSeek-Coder，这是一个开源的大型语言模型系列，专为编程设计，旨在增强代码生成和理解能力。在与现有闭源模型如Codex和GPT-3.5的对比中，DeepSeek-Coder展现了卓越性能。通过持续的预训练和微调，这些模型在代码相关任务中表现出色，尤其在自然语言理解和指令执行方面得到增强。

本文是LLM系列文章，针对《DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence》的翻译。

摘要

大型语言模型的快速发展使软件开发中的代码智能发生了革命性的变化。然而，闭源模型的优势限制了广泛的研究和开发。为了解决这一问题，我们推出了DeepSeek编码器系列，这是一系列大小从1.3B到33B的开源代码模型，在2万亿token上从头开始训练。这些模型是在高质量的项目级代码语料库上预训练的，并使用具有16K窗口的填空任务来增强代码生成和填充。我们的广泛评估表明，DeepSeek Coder不仅在多个基准测试的开源代码模型中实现了最先进的性能，而且超过了Codex和GPT-3.5等现有的闭源代码模型。此外，DeepSeek编码器模型受许可，允许研究和不受限制的商业使用。

1 引言

2 数据收集

3 训练策略

4 实验结果

5 从通用LLM的持续预训练

6 结论

在本技术报告中，我们介绍了一系列用于编码的专用大型语言模型（LLM），称为DeepSeek编码器，有三种不同的级别：1.3B、6.7B和33B参数。这些模型是在精心策划的项目级代码语料库上进行独特训练的，利用“填空”预训练目标来增强代码填充能力。一个显著的进步是将模型的上下文窗口扩展到16384个token，从而大大提高了它们处理大量代码生成任务的有效性。我们的评估显示，DeepSeek Coder Base 33B是我们系列中最先进的模型，在各种标准测试中都超过了现有的开源代码模型。令人

了解本专栏