Near-Lossless Model Compression Enables Longer Context Inference in DNA Large Language Models

文章核心总结与翻译

一、主要内容

本文针对DNA大语言模型（DNA LLMs）在超长基因组序列分析中面临的计算与内存瓶颈，提出了一种名为Focus（Feature-Oriented Compression for Ultra-long Self-attention）的上下文压缩模块。该模块基于基因组学中经典的k-mer（k个连续核苷酸）概念，通过可学习的分层压缩机制，在Transformer层间插入摘要令牌（summary tokens），仅保留摘要令牌的键值（KV）缓存而丢弃普通碱基令牌的KV缓存，结合共享边界窗口策略实现长距离信息的稳定传播。

实验以Evo-2 7B模型为基础，在人类GRCh38染色体1上进行训练，验证结果显示：Focus能将1kb上下文压缩为10个摘要令牌（约100倍压缩），而每个核苷酸概率的平均偏移仅为~4×10⁻⁴，实现近无损保真度；同时将推理复杂度从二次函数O(N²)转化为近线性O(N)，使普通GPU能处理的上下文长度提升约100倍，突破了结构变异解读、远端调控推断等需兆碱基（Mb）级序列分析的技术限制。

二、创新点

1. k-mer感知的分层压缩机制：融合基因组学核心概念k-mer与LLM压缩技术，在k-mer粒度插入可学习摘要令牌，仅保留其KV状态，使缓存量与摘要令牌数量而非原始序列长度成正比，实现内存大幅缩减。
2. 共享边界窗口策略：相邻窗口共享一个边界令牌，构建稳定的跨窗口接口，使长距离信息逐窗口传递，避免传统滑动窗口丢弃远端信息的问题，保障信息传播的完整性。</