2025_NIPS_Graph-KV: Breaking Sequence via Injecting Structural Biases into Large Language Models

一、文章主要内容总结

该研究针对大型语言模型（LLMs）固有的自回归特性导致的结构化数据处理缺陷，提出了一种名为Graph-KV的新方法。核心目标是突破LLMs需将所有输入序列化的限制，通过注入结构归纳偏置，提升模型在结构化数据任务中的性能，同时解决位置偏差、计算复杂度高和上下文窗口消耗过快等问题。

1. 核心背景与问题

• LLMs的自回归特性要求将所有输入（无论是否存在结构化依赖）扁平化为序列，导致在检索增强生成（RAG）、引文网络推理等任务中存在三大痛点：位置偏差（输入顺序影响输出）、二次计算复杂度（全注意力机制）、上下文窗口快速耗尽。
• 现有方法（如并行编码、块注意力）虽能优化效率或减轻位置偏差，但无法建模文本片段间的结构化依赖，难以支撑多跳推理等复杂任务。

2. Graph-KV的核心设计

• 结构感知注意力机制：将文本片段的KV缓存视为浓缩表示，目标片段仅关注其指定“源片段”的KV缓存（而非所有前置片段），通过图结构块掩码实现稀疏注意力，模拟图中的消息传递过程。
• 共享位置编码策略：源片段共享同一位置编码范围，目标片段的位置编码紧随源片段之后，既减少位置偏差，又大幅降低上下文窗口消耗（所需位置跨度仅为 T L TL