Can Large Language Models Solve Path Constraints in Symbolic Execution?

文章总结与翻译

一、主要内容

本文围绕大型语言模型（LLM）能否解决符号执行中的路径约束问题展开系统性实证研究，核心聚焦符号执行的两大关键应用场景：测试用例生成与路径分类（可行性判断及bug检测），并通过多维度实验验证LLM的效能。

1. 研究背景

符号执行是软件测试、调试等下游任务的重要支撑技术，其核心是通过符号输入探索程序执行路径并求解路径约束。但传统基于SMT求解器的方法面临诸多局限，如难以处理复杂数据结构、外部API调用及灵活语法（如Python）的路径约束转换问题。而LLM在代码生成与理解任务中展现出卓越能力，甚至重塑了自动化测试等传统符号执行主导领域，为解决路径约束问题提供了新可能。

2. 研究设计

• 核心任务：设计三类实验任务——竞赛级程序的测试用例生成、路径分类（有效/无效/零除bug路径）、真实世界软件仓库的测试用例生成。
• 基准数据集：构建多源基准，包括竞赛级高复杂度程序（TestEval，循环复杂度>10）、含零除错误的程序数据集（Google runtime error dataset）、真实世界Python仓库（TestGenEval）。
• 模型选择：涵盖14种主流LLM，包括非推理型（如GPT-4.1系列、Qwen3）与推理型（LRM，如o4-mini、DeepSeek-R1），覆盖闭源与开源模型。
• 评估指标