【AI大模型：技术原理】13、NLP预训练模型技术演进史：从RNN到GPT-4

一、技术黎明：序列建模的早期探索（2010年前）

（一）循环神经网络的诞生与局限

在自然语言处理的蛮荒时代，如何建模语言的序列特性是核心难题。20世纪90年代诞生的循环神经网络（RNN）首次引入循环结构，通过隐藏状态传递机制，使得网络能够捕捉序列中的历史信息，如同人类阅读时结合前文理解后文。每个RNN单元的隐藏状态$h^{}$