第9章：编码器架构深度解析

引言：编码器的核心价值

在自然语言处理的演进历程中，编码器架构无疑是一座重要的里程碑。当我们谈论BERT、RoBERTa这些改变游戏规则的模型时，实际上是在讨论编码器架构的精妙应用。今天，我将用最直观的方式，带你走进编码器的内部世界，深入探索编码器内部的工作机制，理解每个组件如何协同工作，最终实现强大的语言理解能力。

1. 编码器的堆叠结构

1.1 基本堆叠原理

编码器的堆叠结构是Transformer模型的核心设计思想。这就像是我们理解一篇文章的过程：首先识别单个词汇，然后理解短语含义，接着把握句子结构，最后领会段落主旨。编码器的每一层都在进行类似的特征抽象过程。

class EncoderStack:
    def __init__(self, num_layers, hidden_size