LexInstructEval: Lexical Instruction Following Evaluation for Large Language Models

LexInstructEval 文章总结与翻译

一、主要内容

本文针对大型语言模型（LLMs）细粒度词汇指令遵循能力的评估难题，提出了名为LexInstructEval的基准测试框架。该框架核心是通过形式化规则语法将复杂词汇指令解构为⟨Procedure, Relation, Value⟩标准三元组，实现对文本从段落、句子到字符等多粒度约束的精准描述与验证。

框架包含两大核心组件：

1. 数据构建流程：经系统设计、冲突过滤、难度分级、LLM与人工校验四阶段，生成包含中英双语、覆盖易/中/难三个难度等级的2475条高质量指令数据集（英文1243条、中文1232条），确保指令逻辑一致、表述清晰。
2. 自动化验证引擎：通过元素隔离、目标识别、标准判定三阶段流程，实现对模型响应的客观自动化评估，与专家人工判断一致性达97%，且具备低成本、高效率优势。

实验对开源（含推理导向与非推理导向）和闭源共30余款模型进行评估，采用严格准确率（Strict Accuracy）和宽松准确率（Loose Accuracy）双指标。结果显示，GPT-o3-2025-04-16表现最佳（总体严格准确率70.2%），模型性能随指令难度提升显著下降，且逻辑深度对性能的影响大于指令数量，同时存在明显的跨语言差异（顶尖模型中文任务表现优于英文）。

二、创新点

1. 细粒度形式化语法：提出新颖且具表达力的规则语法，可