SolEval: Benchmarking Large Language Models for Repository-level Solidity Code Generation

主要内容

1. 背景与动机：区块链和去中心化金融发展促使智能合约需求增长，Solidity作为以太坊智能合约主要编程语言，其代码生成工具的高效性和可靠性至关重要。现有大语言模型代码生成基准多针对主流语言，对Solidity关注不足，且已有Solidity基准存在规模小、脱离实际等问题，因此需要新的基准来评估大语言模型在Solidity代码生成方面的能力。
2. SolEval基准构建：由9个真实代码库的1125个样本组成，涵盖6个领域。构建过程包括项目选择、函数解析、测试构建、人工标注和上下文解析五个关键阶段，以确保数据集的稳健性和多样性。
3. 实验设置：选取10个前沿大语言模型，采用Pass@K、Compile@K、Vul（漏洞率）和Gas Fee（燃气费）等指标进行评估。实验在特定配置的工作站上进行，设置了不同的示例数量、选择策略和上下文信息等变量来探究其对模型性能的影响。
4. 实验结果：不同模型在Solidity代码生成上性能差异大，最好的模型Pass@10也仅为26.29%。模型生成的智能合约在燃气费和漏洞率方面差异显著，且大模型不一定能生成燃气费低的代码。检索增强生成（RAG）和上下文信息可提升模型性能，但对燃气费和漏洞率影响不明显。
5. 研究结论：SolEval能有效揭示现有大语言模型在生成Solidity代码时的弱点，未来计划扩大数据集规模并支持更多编程语言，将其发展为多语言基准。

创新点