Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers

文章主要内容

本文聚焦于提升Transformer在真实世界多跳推理任务中的表现，核心在于通过数据增强策略解决知识图谱稀疏性问题，进而触发模型的“grokking”（从记忆到泛化的突变）能力。研究通过向现有知识图谱中加入精心设计的合成数据，提高推理事实与原子事实的比例${\varphi }_{}$