A systematic evaluation of large language models for generating programming code

本文是LLM系列文章，针对《A systematic evaluation of large language models for generating programming code》的翻译。

摘要

我们系统地评估了七个大型语言模型在使用各种提示策略、编程语言和任务困难生成编程代码方面的性能。GPT-4大大优于其他大型语言模型，包括Gemini Ultra和Claude 2。GPT-4的编码性能因不同的提示策略而有很大差异。在本研究评估的大多数LeetCode和GeeksforGeeks编码比赛中，采用最佳提示策略的GPT-4优于85%的人类参与者。此外，GPT-4在不同编程语言之间转换代码以及从过去的错误中学习方面表现出强大的能力。GPT-4生成的代码的计算效率与人类程序员的计算效率相当。这些结果表明，GPT-4有潜力在编程代码生成和软件开发中充当可靠的助手。

引言

结果

讨论

在这项研究中，我们发现GPT-4是生成编程代码中性能最好的LLM。GPT-4的性能在很大程度上受到各种提示策略的影响。最佳提示策略利用GPT-4的代码解释器功能来测试示例测试用例的有效性，并从以前未成功尝试的错误消息中获益。在LeetCode和GeeksforGeeks竞赛中，GPT-4表现出比大多数人类程序员更强的编码性能，而其他LLM的表现与普通人类程序员相似。GPT-4展示了跨各种编程语言的可靠编码性能，并显示了在不同编程语言之间翻译代码的强大能力。
这些结果表明，GPT-4可以作为生成实际应用程序代码的可靠助手。GPT-4可以使几乎没有或根本没有编程专业知识的个人能够解决简单或中等难度的编程任务。对于那些拥有高级编程专业知识的人来说，GPT-4可以分担工作量，使人类程序员能够专注于更具挑战性的任务。因此，GPT-4在人类人工智能协作