I-RAVEN-X: Benchmarking Generalization and Robustness of Analogical and Mathematical Reasoning in...

文章主要内容与创新点总结

一、主要内容

本文针对现有抽象推理基准（如RAVEN、I-RAVEN）在测试大语言模型（LLMs）和大型推理模型（LRMs）时存在的局限性（ operand 数量少、属性范围窄、存在数据泄露风险、忽略感知不确定性等），提出了增强型符号基准I-RAVEN-X。该基准通过扩展推理关系中的操作数数量、扩大属性值动态范围、引入混淆因素和属性分布平滑化，重点评估模型在泛化能力（生产力、系统性）和不确定性推理鲁棒性两方面的表现。

实验结果显示：

1. 在泛化能力上，LRMs（如OpenAI o3-mini、DeepSeek R1）显著优于LLMs（如GPT-4、Llama-3 70B），面对更长推理链和更广属性范围时，算术精度下降幅度远小于LLMs（LRMs从80.5%降至63.0%，LLMs从59.3%降至4.4%），且无需复杂的提示工程即可实现高性能；
2. 在不确定性推理场景下（引入混淆因素和分布平滑化），LRMs表现不佳，任务精度最高下降61.8%，接近随机猜测水平，无法有效处理多概率结果的叠加推理。

二、创新点

1. 提出I-RAVEN-X基准：首个针对LLMs和LRMs的全符号化、可参数化基准，从生产力（扩展操作数数量，如3×10矩阵替代3×3）、系统性（扩大属性值范围，如1000个属性值替代10个）、混淆因素鲁棒性（添加无关属性）、非退化分布鲁棒性（平滑属性值分布）四个维度优化，填补了现有基准对感知不确定性测试的空白；
2. 系统对比LLMs与LRMs的推理特性：明确LRMs在长链推理和广