2025_NIPS_Dynamic Context Pruning for Efficient and Interpretable Autoregressive Transformers

文章核心总结与翻译

一、主要内容

本文针对自回归Transformer（大型语言模型核心架构）处理长序列时存在的二次计算复杂度和高内存消耗问题，提出了一种动态上下文剪枝方法——自适应稀疏注意力（Adaptively Sparse Attention）。该方法通过可学习机制在生成过程中动态丢弃无信息价值的令牌，在保留模型表达能力的同时降低推理阶段的计算和内存需求。

研究核心围绕以下几点展开：

1. 技术原理：引入少量额外训练参数，通过层wise方式让令牌动态移除输入序列中的冗余部分，结合稀疏sigmoid函数和正则化目标控制剪枝强度，确保因果关系约束（丢弃的令牌后续不再参与计算）。
2. 数据结构优化：设计高效批处理数据结构，支持令牌的快速插入/删除，保证内存连续存储以提升硬件利用率。
3. 实验验证：在GPT-2系列模型（小/中/大/xl）及Pythia模型上验证，在Wiki和BookCorpus数据集上微调后，可剪枝高达80%的上下文且未出现显著性能下降，推理吞吐量提升2倍，内存占用大幅减少。
4. 兼容性与扩展性：可通过简单微调集成到现有预训练模型，且能与量化、权重剪枝等其他优化技术无缝结合，适用于任何自回归Transformer架构。

二、创新点

1. 动态剪枝机制：区别于传统静态注意力稀疏化或固定窗口方法，基于上下文信息动态判