2025_NIPS_Table as a Modality for Large Language Models

文章核心总结与创新点

一、主要内容

1. 研究背景：表格推理是关键研究领域（含表格问答、事实验证、文本转SQL等任务），当前大语言模型（LLMs）处理表格时普遍采用序列化策略（将表格转为类markdown文本），但会丢失表格特有的结构语义（如排列不变性——行列重排不改变表格含义），导致模型在结构扰动下性能大幅下降。
2. 核心问题：现有LLMs（包括专门训练的TableLlama）对表格结构理解不足，面对行列重排的表格时，除GPT-4外的模型答案鲁棒性低于40%，难以实现人类级别的结构泛化。
3. 解决方案（TAMO框架）：提出将表格视为独立模态的TAMO（Table as a Modality）框架，核心包含两部分：
   • 超图增强表格编码器：用超图建模表格的层级结构和排列不变性，通过HyperTrans和Set Transformer实现节点（单元格）与超边（行列/层级）间的信息传播，提取结构特征。
   • 模态接口：通过单层MLP投影器将表格结构嵌入与LLM语义空间对齐，同时保留表格序列化文本（提供细粒度语义），双模态协同输入LLM完成推理。
4. 实验验证：
   • 构建Struct