CodeGeeX论文发表：揭秘AI辅助编程工具背后的大模型

近日，CodeGeeX模型迭代v1.5版本上线，用户反馈模型效果和使用效率较之前有大幅提升。

恰逢CodeGeeX团队在arxiv上发布了论文，详细介绍了CodeGeeX AI编程辅助工具背后的代码生成大模型的架构、训练过程及推理加速等工作。

今天我们对这篇论文的核心信息进行解读，让更多的开发者了解CodeGeeX背后大模型的演进历程，以便更好的使用CodeGeeX作为开发者新一代的生产力工具。

基于Transformer的技术展现代码生成潜力

机器是否能够根据人类意图的描述，例如“编写一个阶乘函数”，自动生成解决该需求的可执行程序？这就是自动程序编写的问题，自20世纪60年代计算机科学的早期就开始了各种探索。

从「LISP-based pioneering deductive synthesis approaches」到「Modern Program Synthesis Systems」，再到通过深度神经网络进行探索，为了使机器能够自动编写正确的程序，研究者们一直在寻找正确的方向。

直到2020年，基于Transformer的技术开始展现出自动生成代码的潜力，这些生成的代码既有语法正确性又具有上下文的一致性。紧接着，大规模语言模型，遇到了大规模开源代码数据，代码生成的进展再次得到了显著的推动。

在这当中，非常值得我们注意的是：OpenAI的Codex模型，具有120亿（12B）参数。在2021年，首次展示出了在数十亿行公共代码上进行预训练后，大型代码生成模型的潜力。通过使用生成式预训练（GPT）策略，Codex以很高的概率解决Python入门级编程问题。此后，大型预训练的代码模型，得到了广泛发展