为什么说线性注意力和线性RNN是同质的？

从香农熵到注意力：线性注意力的本质

线性注意力和线性RNN的共同点？嗯，简单来说就三点：

• 按顺序处理信息：无论是RNN还是线性注意力，都是按序列顺序处理信息的。信息是一步一步传递的。
• 都有“记忆”机制：RNN通过隐状态存储历史信息，线性注意力通过将历史信息压缩成“笔记本”进行存储。
• 数学本质：它们的核心计算实际上都是在做“线性组合”——把历史信息以线性方式整合、传递。

为什么说它们是“同质”？

就像你在追剧，你可能会发现RNN和线性注意力其实是以两种类似但略有不同的方式进行的：

• RNN的方式：你追着一集一集看，看到第1集后你会记住一些关键的内容，到第2集时，你会更新你的记忆，然后继续推进。基本上是：看 → 更新记忆 → 看下一集，每一集的内容都依赖前面的一集。
• 线性注意力的方式：你做了个笔记，在看每一集的时候，你不断地把内容记录下来：看 → 记笔记 → 看下一集。每一集的笔记不是对上一集的直接记忆，而是将之前的记忆压缩并记录下来。

本质上，这两者的操作都类似：它们通过“记忆”机制将每一步的信息传递、压缩，最终形成一个固定大小的状态，就像你追剧时逐步填充的笔记本一样。

第一个问题：那为什么线性注意力没有“全局感受野”？

这个问题挺有趣的，因为它涉及到信息压缩的代价。假设你玩的是传话游戏，大家的任务是把信息从第1个人传到第100个人。

• 原始Transformer：每个人都可以直接和其他所有人交流——信息传递没有任何损失。
• 线性注意力：只能和前面的人传话，像一个链条一样。每个token只能和前面的一些token交互，信息被一步步地“压缩”。所以，当信息从第1个人传到第100个人时，它会经历99次的“转述”，而每次转述都会导致信息的损失。可能一开始的“我想吃薯片”的信息，到最后只会变成“薯”

这就是线性注意力没有“全局感受野”的原因——远处的信息在经过多个“传递”后变得模糊不清。信息传递虽然仍然有效，但它无法完整地捕捉到远处token的详细信息。

第二个问题：原始Transformer和RNN的关系呢？

这两者可不完全相同，它们是不同的物种，几乎可以说是完全相反了：

• RNN：就像一个独行侠，它必须一步一步往前走。信息流动是逐步进行的，每一步都依赖于之前的结果。
• 原始Transformer：就像一个全视角的观察者，它能同时看到整个序列的信息，可以直接访问每个token。它不像RNN那样受限于顺序，而是能进行全局计算。

从数学上来看，RNN通常是O(n)的序列计算，它的计算是线性进行的，像是观看一个连续剧，一集接一集地按顺序看。而原始Transformer是O(n²)的并行计算，它像是在看一部电影，能够随意暂停、快进、回放，灵活性极强。

---

既然如此，那为什么还在研究线性注意力？

线性注意力之所以仍然是研究热点，特别是在处理超长序列时，一个很重要的原因就在于它的计算效率远远超过传统的自注意力（O(n²)）。考虑一下，假如你在看一部1000集的电视剧，是不是每集的细节都要精确记住？不如简单抓住主要剧情更实用。

这就是线性注意力的“精髓”：以更高效的方式处理长序列。虽然它没有全局感受野，但在很多应用场景中，效率往往比精度更重要，特别是处理大规模数据时。

在AI系统设计中，“效率”和“精度”永远是那对永恒的矛盾。关键是如何找到最适合你应用场景的平衡点——线性注意力恰恰是为这种场景而生。

如果觉得文章对你有帮助，记得点赞关注，我是旷野，探索无尽技术！