An Empirical Evaluation of Large Language Models for Code Generation

本文是LLM系列文章，针对《Can ChatGPT Support Developers? An Empirical Evaluation of
Large Language Models for Code Generation》的翻译。

摘要

大型语言模型（LLM）在代码生成方面表现出了显著的熟练程度，大量先前的研究表明它们在各种开发场景中都有很好的能力。然而，这些研究主要在研究环境中提供评估，这在理解LLM在现实世界中如何有效地支持开发人员方面留下了重大差距。为了解决这一问题，我们对DevGPT中的对话进行了实证分析，DevGPT是从开发人员与ChatGPT的对话中收集的数据集（在GitHub等平台上使用共享链接功能捕获）。我们的经验发现表明，当前使用LLM生成代码的实践通常仅限于演示高级概念或在文档中提供示例，而不是用作生产准备代码。这些发现表明，在LLM成为现代软件开发的组成部分之前，还需要在代码生成中改进LLM。

1 引言

2 研究设计

3 结果与讨论

4 相关工作

5 结论

像ChatGPT这样的大型语言模型在代码生成方面已经显示出了前景。
我们的研究表明，虽然代码文件中的大多数ChatGPT对话都集中在讨论上，但只有一半与代码生成有关。与提交相关的交互主要围绕着代码改进展开，很少有提示响应回合。开发人员主要使用ChatGPT请求改进，并倾向于避免在同一对话中生