HARDTESTS: Synthesizing High-Quality Test Cases for LLM Coding

文章主要内容

本文聚焦于解决大型语言模型（LLM）在编程任务中验证器质量不足的问题，提出了HARDTESTGEN测试合成框架，并构建了包含47k问题的高质量测试数据集HARDTESTS。通过结合LLM生成测试用例程序、利用人类编写的权威程序过滤测试用例，HARDTESTGEN显著提升了测试用例的精确率和召回率，尤其在高难度问题上效果更优。实验表明，高质量测试用例对强化学习和自蒸馏等LLM后期训练过程有显著促进作用，但对教师蒸馏的影响较小。

文章创新点

1. HARDTESTGEN框架：提出基于LLM的测试用例合成流水线，通过生成测试生成器程序、结合权威程序过滤，确保测试用例的有效性和全面性，解决了传统方法直接生成测试用例时的有效性不足问题。
2. HARDTESTS数据集：构建了包含47,136个编程问题的数据集，其中32.5k问题配备高质量合成测试用例，覆盖多种难度级别和边缘情况，显著优于现有数据集（如TACO、CodeContests）。
3. 测试质量影响分析：通过实验验证了测试质量对LLM后期训练的影响，发现高质量测试在强化学习和自蒸馏中提升性能显著，但在教师蒸馏中作用有限，为LLM训练提供了数据选择依据。

Abstract

摘要
验证器在大型语言模型（LLM）推理中至关重要，强化学习等后期训练技术均需依赖验证器。然而，对于复杂编程问题，可靠验证器难以获取，因为伪装良好的错