qq_33457267的博客

原创 DeepSeek-Coder

大语言模型的快速发展已经彻底改变了软件开发中的代码智能。然而，封闭源模型的主导地位限制了广泛的研究和开发。为了解决这个问题，我们引入了DeepSeek-Coder系列，这是一系列从1.3B到33B大小的开源代码模型，经过2万亿token的训练。这些模型在高质量的项目级代码语料库上进行了预训练，并使用一个具有16K窗口的填空任务来增强代码生成和补全。我们的广泛评估表明，DeepSeek-Coder不仅在多个基准测试中达到了开源代码模型的最佳性能，还超越了现有的封闭源模型如Codex和GPT-3.5。