Assessing Coherency and Consistency of Code Execution Reasoning by Large Language Models

文章总结与翻译

一、主要内容

本文提出了一种名为CES（Code Execution Simulation，代码执行模拟）的任务，用于评估大型语言模型（LLMs）在模拟程序执行及将该推理应用于编程任务中的能力。核心围绕两大关键维度展开：

1. 推理连贯性（Coherency）：判断模型的执行模拟是否符合常识性执行逻辑，即便预测结果正确，若推理过程存在捷径、幻觉或数据泄露导致的“可疑正确”，也会被识别排除。
2. 推理一致性（Consistency）：提出强、弱、随机三级一致性度量，评估模型在相同或不同基本路径覆盖的测试用例间的推理稳定性。

通过对16个LLMs（含3个推理专用模型）在HumanEval数据集上的评估，得出核心发现：

• 81.42%的模型能实现连贯的执行模拟，但其中仅46.92%对应正确输出，53.08%输出错误；
• GPT-4、DeepSeek-R1等前沿模型因自然语言捷径，存在更多不连贯推理；
• 模型推理一致性多为随机（48.87%）或弱一致（45.37%），强一致性仅占5.76%，这解释了其在路径敏感型程序分析任务中的短板；
• LLMs在漏洞预测/定位/修复等任务中的成功，多依赖模式匹配或语言捷径，而非真正的执行推理，CES可系统验证此类“可疑成功”案例。

二、创新点

1. 统一化任务设计：将输出预测与中间程序状态