Metric Calculating Benchmark: Code-Verifiable Complicate Instruction Following Benchmark

该文章提出了用于评估大型语言模型（LLMs）复杂指令遵循能力的MCBench基准，核心是让模型按步骤计算字符串匹配NLP指标，并通过平行参考代码实现客观验证，同时揭示了当前先进LLMs在该基准上的性能局限。

一、文章主要内容总结

1. 研究背景：当前前沿LLMs已在MATH、IFEval等多个传统基准上接近饱和，而依赖人工或LLM作为评估者的基准存在主观性，亟需兼具挑战性与客观性的新基准。
2. MCBench基准设计
   • 核心构成：包含三部分，分别是计算目标NLP指标的分步指南（Rubric）、用于计算指标的语句对（Candidate）、与指南对应的可执行Python平行参考代码。
   • 评估维度：从三个关键能力评估LLMs，一是复杂指令遵循能力，处理平均超5000字符的多步指令；二是数学推理能力，完成各步骤精确算术运算；三是长程一致性，跨步骤传递并复用中间结果。
   • 候选语句类型：涵盖四种类型以全面测试模型，包括GPT-4o生成的普通语句、低资源语言（宗卡语）语句、纯表情符号语句、含有害内容的语句。
3. 评估指标：设计三个评估指标，最终准确率（FA）衡量计算结果正确性（允许5%浮点误差）、格式遵循度（FF）衡量是否符合指定输出格式、遵循深度（FD）衡量正确完成步骤占总步骤的比例。
4. 实验结果