Transformer——Q118 分析递归Transformer（Recurrent Transformer）的长期记忆保持能力

该问题归类到Transformer架构问题集——架构变体——高效架构。请参考LLM数学推导——Transformer架构问题集。

1. 问题背景：当 Transformer 遭遇 “记忆遗忘症”

传统 Transformer 在处理长序列时，虽然拥有强大的并行计算能力，但随着序列长度增加，它面临着 “记忆衰退” 的难题。想象一下，在生成一部 50 万字的小说时，Transformer 需要记住几百甚至上千个段落的情节线索、人物关系，而其基于全局注意力的机制会让计算复杂度呈二次方增长（