PLSEMANTICSBENCH: LARGE LANGUAGE MODELS AS PROGRAMMING LANGUAGE INTERPRETERS

一、文章主要内容

1. 研究核心问题：探究大型语言模型（LLMs）能否仅依据编程语言的形式语义（以C语言子集IMP为例，通过小步操作语义SOS和重写式操作语义K-semantics形式化）执行程序，即充当解释器，若可行则可助力新编程语言及语言特性的快速原型设计。
2. 基准测试集构建：提出PLSEMANTICSBENCH基准测试集，包含三个评估集。
   • Human-Written：源自LeetCode、HumanEval等平台C++解决方案，经人工改编为IMP程序，反映自然编程风格。
   • LLM-Translated：利用QWEN2.5-INSTRUCT 32B模型将CodeForces的C++程序转换为IMP程序，代表模型生成代码。
   • Fuzzer-Generated：通过深度可控、语义感知、基于语法的模糊测试器生成，包含罕见控制流模式和边缘语义情况。
3. 评估任务设计：设计三个从粗到细的评估任务，全面检验模型的解释器能力。
   • 最终状态预测（PredState）：预测程序在给定语义下所有已声明变量的最终值。
   • <