CMT-Bench: Cricket Multi-Table Generation Benchmark for Probing Robustness in Large Language Models

文章核心总结与翻译

一、主要内容

本文针对大语言模型（LLMs）在动态文本转表格（T2T）任务中的鲁棒性问题，提出了一个基于板球实时解说的诊断基准测试集CMT-Bench。该基准聚焦于两个动态演化的表格（击球手表和投球手表）生成，要求模型在复杂的板球规则下进行长上下文状态跟踪、实体解析和跨片段聚合。

研究通过三个核心维度探究模型鲁棒性：

1. 抽取式线索消融：对比包含/去除板球解说中嵌入式总结线索（如击球手出局时的统计摘要）的模型表现，分离抽取式捷径与真实推理能力；
2. 时间前缀扩展：通过逐步增加输入上下文长度（从5轮到完整局），测试模型在长文本中的稳定性；
3. 实体形式扰动：包括匿名化（替换为通用占位符）、分布外实体替换（用其他运动领域名字替换）、实体角色纠缠（改写句式模糊投球手/击球手角色），评估模型对表面形式变化的敏感度。

实验覆盖6个主流长上下文LLMs（Gemini-2.5-Flash、Llama系列、Qwen系列、GPT-4o mini），结果表明：当前模型严重依赖抽取式线索（去除后行准确率平均下降87%）；无线索时性能随上下文长度单调下降；实体形式扰动（尤其是角色纠缠）会导致准确率显著下降且数值误差分布发生显著偏移，证明现有LLMs在动态T2T任务中推理能力脆弱，过度依赖表面线索而非真实状态跟踪。

二、创新点

1. 首个聚焦动态多表格生成的鲁棒性基准