OpenAI Codex显示了大型语言模型的局限性

最新推荐文章于 2025-10-20 16:54:59 发布

原创

最新推荐文章于 2025-10-20 16:54:59 发布 · 1.4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #大数据 #深度学习 #神经网络 #数据库

OpenAI的最新研究表明，尽管 Codex 在生成软件代码方面取得进展，但大型语言模型仍受限于泛化能力。 Codex，基于GPT-3的模型，展示了深度学习在编程中的应用，但也暴露出对编程结构和理解的不足。尽管规模增加能提升性能，但成本和效益之间的平衡以及模型的统计相关性生成方式，意味着它们仍无法完全替代人类程序员。 Codex在解决简单编程任务时效果良好，但在复杂的多步骤问题上表现欠佳，且存在产生错误代码的风险。使用这类AI工具时，需要程序员的监督和谨慎评估。

本文来自 Ben Dickson

在一篇新论文中，OpenAI的研究人员揭示了Codex的细节，Codex是一种生成软件源代码的深度学习模型。Codex为Copilot提供动力，这是OpenAI和GitHub联合开发的“人工智能配对程序员”工具。副驾驶目前只对有限的用户开放beta测试模式。

这篇论文很有意思，它解释了OpenAI的科学家们设法重新利用他们的旗舰语言模型GPT-3来创建Codex的过程。但更重要的是，这篇论文也阐明了深度学习在编程中的可信度。

“没有免费的午餐”定理

Codex是GPT-3的下一代产物。GPT-3是去年发布的大规模深度学习语言模型，深度学习模型的复杂性通常是通过其参数的数量来衡量的。一般来说，模型的学习能力随着参数的增加而增加。GPT-3有1750亿个参数，比它的前身GPT-2(15亿个参数)多了两个数量级。GPT-3的训练数据集超过600GB，比GPT-2的训练数据集大50多倍。

除了规模上的增长外，GPT-3的主要创新是“few-shot学习”，即执行没有经过训练的任务的能力。介绍GPT-3的文章标题是“语言模型是few-shot学习者”，并指出:“在这里我们表明，扩展语言模型极大地提高了任务无关性、少镜头的性能[重点挖掘]，有时甚至达到了现有最先进的微调方法的