大模型知识涌现现象、顿悟现象

大模型的知识涌现现象指的是模型规模达到一定阈值之后，模型涌现出前所未有的能力。引起知识涌现现象的原因是随着模型规模的扩大，参数交互的密度也在逐渐变大，当达到某个阈值之后，模型就有了其它的能力。知识涌现现象往往是不能够预测的。

大模型的顿悟现象可以视为知识涌现现象的一个子类，指的是模型性能的突然提升，通过实现是可以观察到的。