CODEJUDGE : Evaluating Code Generation with Large Language Models

本文是LLM系列文章，针对《CODEJUDGE : Evaluating Code Generation with Large Language
Models》的翻译。

摘要

大型语言模型（LLM）在代码生成方面表现出了良好的性能。然而，如何可靠地评估LLM生成的代码仍然是一个未解决的问题。本文介绍了CODEJUDGE，这是一个代码评估框架，它利用LLM来评估生成代码的语义正确性，而不需要测试用例。我们研究了不同的方法来指导LLM进行“慢思维”，以获得深入可靠的评估。我们在四个代码生成数据集和五种编程语言上用四个LLM作为评估器进行了实验。结果表明，在大多数情况下，CODEJUDGE的表现明显优于现有方法。此外，与基于SOTA GPT-3.5的代码评估方法相比，即使使用更小的模型Llama-3-8B-Instruct，CODEJUDGE也能获得更好的结果。我们的代码和数据集可以在GitHub上找到https://github.com/VichyTong/CodeJudge.

1 引言

人们对利用大型语言模型（LLM）生成代码越来越感兴趣。然而，在代码生成任务上可靠地评估LLM仍然是一个具有挑战性的问题。基于测试的方法，如测量pass@k&#x