当我们惊讶于大模型时，我们到底在惊讶什么？

最近在回顾人工智能，尤其是自然语言处理领域这几年的狂飙突进时，一个强烈的感受挥之不去：Transformer架构的提出，以及随后以GPT系列为代表的大语言模型（LLM）的涌现，实在是太“意外”了。

这种“意外”并非指它们毫无征兆地凭空出现（实际上有深厚的学术积累），而是指它们所展现出的能力在深度、广度和涌现特性上，彻底颠覆了包括我在内的许多人对“机器智能”的既有认知和想象边界。相信很多人，甚至许多业内人士，在初次接触ChatGPT或类似模型时，都曾发出过“这怎么可能？”、“它居然能理解/做到这个？”的惊叹。

这种强烈的“意外感”从何而来？

我想，它揭示了几个关键点，也值得我们深思：

1. 范式颠覆的震撼：从“渐进”到“跃迁”
   在Transformer之前，RNN（循环神经网络）及其变体LSTM/GRU是处理序列数据（如语言、时间序列）的绝对主流。尽管它们有梯度消失/爆炸、难以并行化等瓶颈，但大家普遍认为解决方案是在此框架内修修补补。Transformer论文（“Attention is All You Need”）横空出世，近乎“粗暴”地抛弃了RNN的核心递归结构，代之以纯粹的“自注意力”（Self-Attention）机制。这种根本性的架构革命，不是小步快跑，而是一次大胆的范式跃迁。它的高效并行性和全局信息捕捉能力，为后续的模型规模爆炸奠定了基础。我们惊讶，是因为它跳出了我们思维中固有的“路径依赖”。

2. “大力出奇迹”的规模效应：反直觉的指数级增长
   Transformer的核心思想（自注意力、残差连接、层归一化等）本身非常优雅，但其真正的威力爆发点，在于**“海量数据” + “海量算力” + “超大模型”** 三者的结合。GPT-3（1750亿参数）及其后续模型证明，当规模达到一个临界点后，模型会涌现出惊人的、在较小规模时完全不可预测的能力——理解复杂指令、生成连贯长文、进行多步推理、掌握多模态