AI也会“顿悟”？深度解析人类最能理解的复杂模型

在现代人工智能的宏大叙事中，我们正面临一个吊诡的现状：人类能够创造出拥有数千亿参数、每秒执行万亿次计算的庞然大物，却对其内部运作的逻辑脉络知之甚少。ChatGPT 生成的每一个词元（token）都是海量参数协同作用的结果，但这种“智能”究竟是真正的逻辑学习，还是仅仅是对手头数据的死记硬背？ 顿悟（Grokking）现象的发现，为我们打开了一扇观察 AI 认知演化的窗户。通过对一个单层 Transformer 模型在模运算（modular arithmetic）任务中的深度解构，我们不仅能目睹模型如何从机械记忆转向逻辑泛化，更能窥见 AI 处理信息时那套异于人类、却又严丝合缝的数学美感。

顿悟：从死记硬背到真知灼见的跃迁

在 2021 年 OpenAI 的一次意外实验中，研究人员试图训练微型模型执行模运算——比如在模数为 5 的系统中，4+2 的结果是 1。起初，实验结果令人失望：模型很快在训练集上达到了完美表现，但在未见过的测试集上却一败涂地。这表明模型只是简单地背下了所有答案。

戏剧性的转折发生在一位研究人员休假期间，他忘记关掉正在运行的训练脚本。当他回来时，惊讶地发现经过数万步的冗余训练后，模型在测试集上的表现突然出现了“断崖式”的好转，准确率瞬间攀升至 100%。这种在训练误差早已归零后，泛化能力在后期突然爆发的现象，被命名为“顿悟”（Grokking）。这一术语源自科幻小说《陌生地异乡人》，意指对某事物的理解深刻到与之融为一体。

模型内部的“数学钟表”：傅里叶空间的解法

为了揭开顿悟背后的机制，研究者利用机理性可解释性（Mechanistic Interpretability）方法对模型进行了拆解。通过分析模型的神经元激活，一个惊人的事实浮出水面：AI 并没有像人类一样通过规则计算加法，而是构建了一套基于三角函数的物理系统。

神经元里