I-RAVEN-X: Benchmarking Generalization and Robustness of Analogical and Mathematical Reasoning in...

一、文章主要内容总结

本文针对现有抽象推理基准（如RAVEN、I-RAVEN）存在的 operand 数量少、属性范围窄、数据泄露风险、忽略感知不确定性等局限性，提出了增强型符号基准 I-RAVEN-X，用于评估大型语言模型（LLMs）和大型推理模型（LRMs）在类比推理与数学推理任务中的泛化能力和鲁棒性。

通过在 I-RAVEN-X 上对 SOTA 模型（LLMs 包括 GPT-4、Llama-3 70B；LRMs 包括 OpenAI o3-mini、DeepSeek R1 及其蒸馏版）的测试，得出核心结论：

1. 泛化能力差异：LRMs 在长推理链（更多 operand）和宽属性范围（更大动态值）上的泛化能力显著优于 LLMs——LLMs 的算术精度从 59.3% 骤降至 4.4%，而 LRMs 仅从 80.5% 降至 63.0%，且 LRMs 无需复杂提示工程即可超越 LLMs；
2. 鲁棒性短板：LRMs 在感知不确定性场景（引入混淆属性、平滑属性值分布）下表现极差，任务精度最高下降 61.8%，接近随机猜测水平（12.5%），无法有效处理多概率结果的叠加推理。

二、文章创新点

1. 提出 I-RAVEN-X 基准：在 I-RAVEN 基础上优化四大维度，实现更全面的能力评估：
   • 生产力（Productivity）：支持参数化 operand 数量（如 3×10 矩阵替代 3×3），测试长推理链泛化；