长上下文技术的底层逻辑：Attention、压缩、缓存与跨页推理

——为什么 1M、10M、甚至“无限上下文”是真技术，不是营销？

过去一年，大模型有两个最显眼的趋势：参数量变得不再重要，而上下文长度变得至关重要。从 GPT-4o 的 128K，到 Claude 的 1M、2M，再到各种“Infinity Context”“无限文档分析”能力，长上下文俨然成了模型体验的分水岭。

但如果你认真想过一个问题，很可能会卡住：

Attention 是 O(n²) 的，为什么上下文能越做越长？为什么模型不会被撑爆？

当我第一次把一个 3 万字的合同丢给 GPT-3.5 时，它直接崩溃。但今天的模型却能轻松消化几十万 token 文档，甚至还能跨页跳转总结，这背后已不是简单算力堆叠，而是一整套关于“Attention → 压缩 → 缓存 → 跨页推理”的技术体系。

这篇文章，我想带你真正看懂长上下文技术的底层逻辑，而不是停留在“窗口增大了”“支持更多 token”这种表层描述上。你会一步一步看到：
长上下文不是一个功能，而是一条技术演化链。

---

一、为什么“长上下文”突然变得重要？

过去大模型的瓶颈，是“智能不足”；而现在的瓶颈，正逐渐变成“记忆不足”。

开发者越来越清楚地意识到：模型的任务不是回答一句话，而是理解整个语境（Context）。

而长上下文提供了一种新的使用范式：

• 不需要切段

• 不需要人工总结

• 不需要构建向量索引

• 不需要自建 RAG

我们把资料一口气丢给大模型，它就能像人一样“通读”后再回答。
这种体验本身就是生产力革命。

那么——模型到底靠什么做到这一点？
这里就要走进底层：Attention、压缩、缓存、跨页推理。

---

二、Attention：n² 的诅咒与三条破局路线

你一定知道 Transformer 的自注意力机制是 O(n²)。这是长上下文的根本难点：

• 输入 10K token → 需要计算 100M 次相似度

• 输入 100K token → 需要计算 10B 次

• 输入 1M token → 需要计算 1T 次 → 直接爆炸

因此，业界做长上下文的第一步就是从 Attention 开刀。

目前有