吴师兄大模型的博客

涌现能力（Emergent Capabilities）指模型在参数规模增加后，表现出一些原本无法完成或难以完成的任务能力。主流的开源模型体系：当前大模型主要分为三大类架构——Encoder-Decoder、Causal Decoder、Prefix Decoder，各自具有针对性强的特点和适用场景。

在深度学习领域，归一化技术已经成为模型训练中必不可少的一部分，而 Layer Normalization（简称 Layer Norm）作为一种经典的归一化方法，在 Transformer、语言模型（如 GPT、BERT）以及图像模型等领域得到了广泛应用。与 Batch Normalization 不同，Layer Norm 针对每个样本的特征维度进行归一化，因此在小批量甚至单样本输入场景下表现尤为出色。然而，Layer Norm 的引入也伴随着一系列问题，如计算效率、模型深度对训练稳定性的影响等。