MathRobust-LV: Evaluation of Large Language Models’ Robustness to Linguistic Variations

该文章提出了评估大语言模型数学推理语言鲁棒性的新基准MathRobust-LV，通过控制变量生成表层表述变化但数学逻辑不变的题目，揭示了模型在该维度的脆弱性，尤其小模型性能下降显著，而前沿闭源模型相对稳定。

一、文章主要内容

1. 研究背景：当前大语言模型在数学基准测试（如GSM8K、MATH）中表现优异，但对语言表述变化的鲁棒性未被充分探索，且现有研究多聚焦IMO等难题，忽视了教育场景中实际使用的高中难度数学题。
2. 核心方法：构建MathRobust-LV基准，包含130道种子题（65道来自MATH数据集、65道来自AoPS竞赛题）及520道变体题。变体题仅改变题目表层信息（如名称、场景、变量符号），严格保留数值结构、逻辑和答案，模拟教师出题时的表述变化。
3. 实验设计：在34个不同规模、类型的开源与闭源模型上进行零样本测试，计算基线准确率（原始题）与变体准确率（改写题）的差值，评估模型鲁棒性；同时对比模型在MATH数据集与AoPS竞赛题上的性能差异。
4. 关键结果：
   • 多数模型在变体题上准确率下降，小模型（如OpenMath-Nemotron-1.5B）下降幅度达9%-11%，中大型模型下降2%-6%；
   • 闭源前沿模型（GPT-5、Gemini-2.5pro）表现更稳定，Gemini-2.5pro甚至有0.21%的准确率提升；
   • 所有模型在AoPS竞赛题上的准确率远低于MATH数据集，部分模型差距达30-50个百分点。
   </