第7章 注意力机制与Transformer
前面章节讲解的CNN擅长捕捉空间局部特征,RNN(LSTM/GRU)擅长处理时序序列,但二者都存在明显局限:CNN建模长距离依赖需要堆叠大量层,参数冗余且效率低;RNN是串行计算(必须按时间步依次处理),无法并行化,且长程依赖的捕捉能力仍有瓶颈。
注意力机制的核心灵感来自人类的注意力习惯——看图片时会聚焦主体、忽略背景,读文本时会关注关键词、弱化无关词汇,它能让模型自适应地为输入信息分配不同的注意力权重,重点关注重要信息,直接建模任意两个位置的依赖关系,无需依赖层堆叠或时序串行。
Transformer是基于自注意力机制的深层模型,完全摒弃了CNN和RNN的结构,以“自注意力+前馈网络”为核心,实现了全并行计算,能高效建模长距离依赖,成为自然语言处理(NLP)的主流框架,还被广泛扩展到计算机视觉(CV)、语音识别、多模态融合等领域。
本章将从注意力机制的核心动机出发,逐步讲解基础注意力、自注意力、多头自注意力的原理,再拆解Transformer的完整结构,最后介绍其经典变体和扩展应用,让你掌握这一深度学习的核心模型。
7.1 注意力机制的核心动机:解决CNN/RNN的固有局限
要理解注意力机制的价值,首先要明确CNN和RNN在处理序列/网格数据时的核心问题,以及注意力如何针对性解决这些问题:
7.1.1 RNN的核心问题:串行计算+长程依赖瓶颈
- 串行计算,效率低下:RNN处理序列时必须按时间步依次计算,第t步的隐状态依赖第t-1步,无法并行处理整个序列,当序列很长(比如上万词的文本)时,训练和推理速度极慢;
- 长程依赖仍有瓶颈:虽然LSTM/GRU缓解了梯度消失问题,但对于超长篇序列(比如T=10000),历史信息仍会逐渐衰减,无法精准建模远距离位置的关联。
7.1.2 CNN的核心问题:长距离依赖需层堆叠+感受野固定
- 长距离依赖依赖层堆叠:CNN的感受野随层数增加而扩大,要建模长距离依赖需要堆叠大量卷积层,导致参数增多、模型复杂,且容易出现过拟合和梯度消失;
- 感受野固定,灵活性差:卷积核的大小决定了感受野的范围,是固定的,无法自适应地关注输入中任意位置的信息,比如处理文本时,无法让一个词灵活关联到序列中任意距离的另一个词。
7.1.3 注意力机制的核心解决思路
注意力机制从三个维度解决了上述问题,成为CNN/RNN的理想替代方案:
- 直接建模任意位置依赖:无需层堆叠或时序传递,能直接计算输入中任意两个位置的关联权重,精准捕捉长距离依赖;
- 全并行计算:注意力的计算不依赖时序或空间的顺序,可同时处理整个输入序列,大幅提升计算效率;
- 自适应权重分配:根据输入内容的重要性,动态分配注意力权重,重点关注关键信息,忽略无关信息,提升模型的特征提取能力。
简单来说:注意力机制让模型拥有了“自主选择关注对象”的能力,这是CNN和RNN不具备的核心特性。
7.2 基础注意力机制:Query-Key-Value三元组框架
所有注意力机制的核心都基于Query(查询,Q)-Key(键,K)-Value(值,V) 三元组框架,这是一个通用的注意力计算范式,先理解这个基础框架,就能轻松掌握所有注意力变体。
7.2.1 注意力的直观理解
用查字典的例子能快速理解Q-K-V的含义:
- Query(Q):你想要查询的问题(比如“注意力机制是什么?”);
- Key(K):字典中的所有词条标题(比如“注意力机制”“自注意力”“Transformer”);
- Value(V):字典中每个词条对应的详细解释;
- 注意力计算:将你的问题(Q)和所有词条标题(K)对比相似度,相似度高的词条(比如“注意力机制”)分配更高的权重,最后用权重对词条解释(V)加权求和,得到最终的回答。
7.2.2 通用注意力计算框架
给定查询集合Q∈Rdq×nq\boldsymbol{Q} \in \mathbb{R}^{d_q \times n_q}Q∈Rdq×nq、键集合K∈Rdk×nk\boldsymbol{K} \in \mathbb{R}^{d_k \times n_k}K∈Rdk×nk、值集合V∈Rdv×nv\boldsymbol{V} \in \mathbb{R}^{d_v \times n_v}V∈Rdv×nv(通常nk=nvn_k=n_vnk=nv),注意力的计算分为4个核心步骤,且所有步骤均可微,能通过反向传播训练:
- 计算相似度:用相似度函数计算每个Q与所有K的相似度,得到注意力得分矩阵S∈Rnq×nk\boldsymbol{S} \in \mathbb{R}^{n_q \times n_k}S∈Rnq×nk;
- 权重归一化:用归一化函数(通常是Softmax)将注意力得分转换为注意力权重矩阵A∈Rnq×nk\boldsymbol{A} \in \mathbb{R}^{n_q \times n_k}A∈Rnq×nk,权重之和为1,体现“关注程度”;
- 加权求和:将注意力权重矩阵与值集合V做矩阵乘法,得到注意力输出Attn(Q,K,V)=A⋅V\boldsymbol{Attn}(Q,K,V) = \boldsymbol{A} \cdot \boldsymbol{V}Attn(Q,K,V)=A⋅V;
- 可选:线性投影:对注意力输出做一次线性变换,增强模型表达能力。
核心公式:
Attn(Q,K,V)=Softmax(sim(Q,K)dk)⋅V\boldsymbol{Attn}(Q,K,V) = \text{Softmax}\left( \frac{\text{sim}(Q,K)}{\sqrt{d_k}} \right) \cdot VAttn(Q,K,V)=Softmax(dksim(Q,K))⋅V
其中dk\sqrt{d_k}dk是缩放因子,用于解决高维度下点积相似度模值过大、Softmax输出过于极端的问题。
7.2.3 两种经典的基础注意力
基础注意力的核心差异在于相似度函数的选择,目前最常用的是加性注意力和点积注意力,二者各有适用场景:
(1)加性注意力(Bahdanau注意力)
- 相似度函数:通过两层感知器将Q和K融合后计算相似度,适合Q和K维度不同的场景;
sim(q,k)=va⊤tanh(Waq+Uak)\text{sim}(\boldsymbol{q},\boldsymbol{k}) = \boldsymbol{v}_a^\top \tanh\left( \boldsymbol{W}_a \boldsymbol{q} + \boldsymbol{U}_a \boldsymbol{k} \right)sim(q,k)=va⊤tanh(Waq+Uak)
其中Wa、Ua、va\boldsymbol{W}_a、\boldsymbol{U}_a、\boldsymbol{v}_aWa、Ua、va是可学习参数。 - 优点:兼容性强,Q和K维度可不同,建模能力更强;
- 缺点:计算量稍大,涉及非线性变换。
(2)点积注意力(Luong注意力)& 缩放点积注意力
- 点积注意力:直接计算Q和K的内积作为相似度,适合Q和K维度相同的场景,计算效率极高;
sim(q,k)=q⊤k\text{sim}(\boldsymbol{q},\boldsymbol{k}) = \boldsymbol{q}^\top \boldsymbol{k}sim(q,k)=q⊤k - 缩放点积注意力:点积注意力加缩放因子dk\sqrt{d_k}dk,是Transformer的核心注意力方式,解决高维点积的数值问题;
- 优点:计算速度极快,可通过矩阵乘法并行实现,适合大规模数据;
- 缺点:仅适用于Q和K维度相同的场景。
7.2.4 软注意力与硬注意力
根据注意力权重的特性,可将注意力分为软注意力和硬注意力,实际应用中软注意力占绝对主流:
- 软注意力:注意力权重是连续的实数(0~1),权重之和为1,可微,能通过反向传播直接训练,是目前所有主流模型的选择;
- 硬注意力:从K中随机选择一个或少数几个位置,仅对这些位置的V加权求和,权重是0-1的离散值,不可微,无法直接反向传播,需通过强化学习等方式训练,实现复杂且效果不稳定。
7.2.5 基础注意力的典型应用:Seq2Seq中的注意力
基础注意力最早被应用在RNN-based的序列到序列(Seq2Seq)模型中(比如机器翻译),解决传统Seq2Seq的“固定上下文向量”问题:
- 传统Seq2Seq:编码器将源序列压缩为一个固定维度的上下文向量,解码器仅基于该向量生成目标序列,长序列时会丢失大量信息;
- 加注意力的Seq2Seq:解码器每一步生成时,都会基于当前隐状态生成Q,与编码器所有步的隐状态(K/V)计算注意力,得到动态的上下文向量,能关注源序列中与当前生成词相关的部分,大幅提升长序列翻译的效果。
7.3 自注意力机制:建模序列内部的依赖关系
基础注意力是跨模态/跨序列的注意力(比如Q来自解码器,K/V来自编码器),而自注意力(Self-Attention) 是更核心的变体——Q、K、V均来自同一个输入序列,能直接建模序列内部任意两个位置的依赖关系,是Transformer的基础。
7.3.1 自注意力的核心定义
自注意力的核心特点是输入和输出是同一序列,通过计算序列中每个位置与自身所有位置的注意力权重,让每个位置的特征融合序列中其他位置的信息,实现序列内部的特征交互。
比如处理文本序列“他昨天去了北京,今天她要去那里”:
- 序列中每个词作为一个位置,生成对应的Q、K、V;
- 计算“那里”这个词与其他所有词的注意力权重,会发现“那里”对“北京”的权重远高于其他词;
- 最终“那里”的特征会融合“北京”的特征,让模型理解二者的指代关系。
7.3.2 自注意力的计算步骤
以文本序列处理为例,自注意力的计算步骤清晰且可全并行实现,假设输入是长度为nnn的序列,每个位置的特征维度为dind_{in}din:
- 线性投影生成Q/K/V:通过3个独立的线性层,将输入序列分别投影为查询Q\boldsymbol{Q}Q、键K\boldsymbol{K}K、值V\boldsymbol{V}V,维度均为dmodeld_{model}dmodel(Transformer中经典值为512);
Q=X⋅WQ,K=X⋅WK,V=X⋅WV\boldsymbol{Q} = \boldsymbol{X} \cdot \boldsymbol{W}_Q, \quad \boldsymbol{K} = \boldsymbol{X} \cdot \boldsymbol{W}_K, \quad \boldsymbol{V} = \boldsymbol{X} \cdot \boldsymbol{W}_VQ=X⋅WQ,K=X⋅WK,V=X⋅WV
其中X∈Rn×din\boldsymbol{X} \in \mathbb{R}^{n \times d_{in}}X∈Rn×din是输入序列,WQ/WK/WV\boldsymbol{W}_Q/\boldsymbol{W}_K/\boldsymbol{W}_VWQ/WK/WV是可学习的投影矩阵。 - 计算缩放点积注意力:按通用框架计算缩放点积注意力,得到注意力权重矩阵和初步输出;
- 线性投影输出:对注意力初步输出做一次线性变换,得到自注意力的最终输出O∈Rn×dmodel\boldsymbol{O} \in \mathbb{R}^{n \times d_{model}}O∈Rn×dmodel。
7.3.3 位置编码:为自注意力加入时序信息
自注意力的最大缺陷是:不包含时序/位置信息——它是全并行计算的,将序列的位置打乱后,自注意力的计算结果完全不变,而时序数据(文本、语音)的位置顺序是核心信息。
为了解决这个问题,需要给自注意力的输入加入位置编码(Positional Encoding),让模型能捕捉序列的位置信息,核心思路是:将位置的数学特征编码为向量,与输入特征向量相加。
目前主流的位置编码有两种,均适用于任意长度的序列:
- 正弦余弦位置编码(Transformer原始方案):基于正弦和余弦函数的周期性,生成固定的位置编码向量,无需学习,且能处理超出现有训练长度的序列;
对于位置pospospos和维度iii,编码公式为:
PE(pos,2i)=sin(pos100002i/dmodel),PE(pos,2i+1)=cos(pos100002i/dmodel)PE(pos,2i) = \sin\left( \frac{pos}{10000^{2i/d_{model}}} \right), \quad PE(pos,2i+1) = \cos\left( \frac{pos}{10000^{2i/d_{model}}} \right)PE(pos,2i)=sin(100002i/dmodelpos),PE(pos,2i+1)=cos(100002i/dmodelpos) - 可学习位置编码:将位置编码作为可学习的参数矩阵,由模型在训练过程中自动学习,灵活性更高,但对未见过的长序列泛化能力稍差。
关键操作:位置编码的维度与输入特征维度一致,直接与输入特征向量逐元素相加,不改变特征维度,仅加入位置信息。
7.3.4 自注意力的优势与不足
自注意力是Transformer的核心,相比CNN和RNN有显著优势,但也存在固有不足,后续的模型变体均是为了弥补这些不足:
核心优势
- 全并行计算:无时序依赖,可同时处理整个序列,训练和推理效率远高于RNN;
- 无距离衰减的长程依赖建模:直接计算任意两个位置的注意力权重,长距离位置的关联不会随距离增加而衰减,精准捕捉长程依赖;
- 灵活的特征交互:每个位置能自适应地融合序列中所有位置的信息,比CNN的固定感受野更灵活。
固有不足
- 计算复杂度高:时间和空间复杂度均为O(n2dmodel)O(n^2 d_{model})O(n2dmodel),其中nnn是序列长度,dmodeld_{model}dmodel是特征维度,当序列很长(比如n=10000n=10000n=10000)时,n2n^2n2会导致计算量爆炸;
- 对局部特征的捕捉能力弱:CNN擅长捕捉局部特征,而自注意力对所有位置一视同仁,建模局部特征的效率不如CNN。
7.4 多头自注意力:提升自注意力的特征表达能力
多头自注意力(Multi-Head Self-Attention) 是对自注意力的核心改进,由Transformer首次提出,它通过将Q/K/V投影到多个相互独立的子空间,分别计算自注意力,再将结果拼接融合,让模型能同时捕捉不同类型的依赖关系,大幅提升自注意力的特征表达能力。
7.4.1 多头自注意力的核心思想
人类在理解信息时,会从多个角度关注不同的重点(比如读文本时,同时关注句法结构、语义关联、相邻词搭配),多头自注意力就是模拟这一过程:
- 将Q/K/V通过线性投影,拆分为hhh个头(Head),每个头对应一个子空间;
- 每个头独立计算缩放点积自注意力,捕捉一种类型的依赖关系(比如头1关注句法,头2关注语义,头3关注相邻词);
- 将hhh个头的注意力输出拼接,再通过一次线性投影,融合所有头的特征,得到最终的多头自注意力输出。
7.4.2 多头自注意力的计算步骤
假设Transformer的特征维度dmodel=512d_{model}=512dmodel=512,头数h=8h=8h=8(经典设置),则每个头的特征维度dk=dv=dmodel/h=64d_k=d_v=d_{model}/h=64dk=dv=dmodel/h=64:
- 多投影生成子空间Q/K/V:将输入序列的Q/K/V分别通过hhh个独立的线性投影,生成hhh组子Q、子K、子V,每组维度为n×64n \times 64n×64;
- 分头计算自注意力:对每组子Q、子K、子V,独立计算缩放点积自注意力,得到hhh个注意力输出,每个输出维度为n×64n \times 64n×64;
- 拼接头输出:将hhh个头的输出按特征维度拼接,得到维度为n×(8×64)=n×512n \times (8 \times 64)=n \times 512n×(8×64)=n×512的拼接特征;
- 线性投影融合:对拼接特征做一次线性变换,得到最终的多头自注意力输出,维度保持n×512n \times 512n×512。
核心公式:
MultiHead(Q,K,V)=Concat(head1,...,headh)⋅WO\text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1,...,\text{head}_h) \cdot \boldsymbol{W}_OMultiHead(Q,K,V)=Concat(head1,...,headh)⋅WO
headi=ScaledDotProductAttn(QWQi,KWKi,VWVi)\text{head}_i = \text{ScaledDotProductAttn}(Q\boldsymbol{W}_Q^i, K\boldsymbol{W}_K^i, V\boldsymbol{W}_V^i)headi=ScaledDotProductAttn(QWQi,KWKi,VWVi)
其中WO\boldsymbol{W}_OWO是拼接后的线性投影矩阵,WQi/WKi/WVi\boldsymbol{W}_Q^i/\boldsymbol{W}_K^i/\boldsymbol{W}_V^iWQi/WKi/WVi是第iii个头的投影矩阵。
7.4.3 多头自注意力的核心价值
多头自注意力并非简单的“多做几次自注意力”,而是通过子空间划分,让模型学习到互补的特征,相比单头自注意力有两个核心价值:
- 捕捉多类型依赖:不同的头会关注不同的依赖关系,比如在机器翻译中,有的头关注源序列和目标序列的词对齐,有的头关注相邻词的搭配,有的头关注长距离的指代;
- 提升特征的多样性和表达能力:多个头的特征拼接融合后,能形成更丰富的特征表示,比单头自注意力更能刻画输入的复杂特征。
实验结论:Transformer中头数h=8h=8h=8是经过大量实验验证的最优设置,过少的头无法捕捉足够的依赖类型,过多的头会增加计算量且带来过拟合风险。
7.5 Transformer的整体结构:Encoder-Decoder经典框架
Transformer采用编码器-解码器(Encoder-Decoder) 的双层结构,这是序列到序列(Seq2Seq)任务的经典框架(比如机器翻译、文本摘要),其中编码器负责对输入序列进行特征提取,生成包含全局信息的上下文特征;解码器负责基于编码器的上下文特征,生成目标序列。
Transformer的Encoder和Decoder均由多层相同的子层堆叠而成,且所有子层都加入了残差连接和层归一化,解决深层网络的梯度消失问题,提升训练稳定性。
7.5.1 Transformer的整体架构
以Transformer原始论文的设置为例,核心参数为:特征维度dmodel=512d_{model}=512dmodel=512,头数h=8h=8h=8,前馈网络隐藏层维度dff=2048d_{ff}=2048dff=2048,Encoder堆叠6层,Decoder堆叠6层。
整体架构的信息流向为:
输入序列→Embedding+位置编码→Encoder堆叠→上下文特征→Decoder堆叠→线性层+Softmax→目标序列\text{输入序列} \rightarrow \text{Embedding+位置编码} \rightarrow \text{Encoder堆叠} \rightarrow \text{上下文特征} \rightarrow \text{Decoder堆叠} \rightarrow \text{线性层+Softmax} \rightarrow \text{目标序列}输入序列→Embedding+位置编码→Encoder堆叠→上下文特征→Decoder堆叠→线性层+Softmax→目标序列
7.5.2 编码器(Encoder):输入序列的特征提取器
Encoder的核心功能是对输入序列进行无监督的全局特征提取,生成包含序列所有位置信息的上下文特征,其每一层由两个子层组成,且每个子层都配有残差连接和层归一化(Pre-Norm结构,先归一化再做子层计算):
- 多头自注意力层:采用双向多头自注意力,能捕捉输入序列中任意两个位置的双向依赖关系(比如文本中的前后文关联);
- 前馈神经网络(FFN):对每个位置的特征进行独立的非线性变换,提升模型的非线性表达能力,由两层线性层+ReLU激活组成:
FFN(x)=max(0,xW1+b1)W2+b2\text{FFN}(x) = \max(0, x\boldsymbol{W}_1 + \boldsymbol{b}_1) \boldsymbol{W}_2 + \boldsymbol{b}_2FFN(x)=max(0,xW1+b1)W2+b2
Encoder单层的计算流程:
x~1=LayerNorm(x+MultiHeadSelfAttn(x))\tilde{x}_1 = \text{LayerNorm}(x + \text{MultiHeadSelfAttn}(x))x~1=LayerNorm(x+MultiHeadSelfAttn(x))
x~2=LayerNorm(x~1+FFN(x~1))\tilde{x}_2 = \text{LayerNorm}(\tilde{x}_1 + \text{FFN}(\tilde{x}_1))x~2=LayerNorm(x~1+FFN(x~1))
其中xxx是当前层的输入,x~2\tilde{x}_2x~2是当前层的输出,残差连接保证了梯度的有效传递。
Encoder的关键特性:输入序列的所有位置可全并行计算,无时序依赖,且双向自注意力能充分捕捉全局信息。
7.5.3 解码器(Decoder):目标序列的生成器
Decoder的核心功能是基于编码器的上下文特征,自回归地生成目标序列,其每一层由三个子层组成,同样配有残差连接和层归一化,且加入了掩码(Mask) 机制防止信息泄露:
- 掩码多头自注意力层:采用单向掩码多头自注意力,加入未来掩码(Future Mask),让解码器在生成第t个位置的词时,无法看到第t个位置之后的词,保证自回归生成的合理性;
- 编码器-解码器注意力层:采用跨注意力(Cross-Attention),Q来自解码器的上一层输出,K/V来自编码器的最终输出,让解码器在生成每个词时,能关注输入序列中相关的位置;
- 前馈神经网络(FFN):与Encoder的FFN完全相同,对每个位置的特征做独立非线性变换。
Decoder单层的计算流程:
x~1=LayerNorm(x+MaskedMultiHeadSelfAttn(x))\tilde{x}_1 = \text{LayerNorm}(x + \text{MaskedMultiHeadSelfAttn}(x))x~1=LayerNorm(x+MaskedMultiHeadSelfAttn(x))
x~2=LayerNorm(x~1+CrossAttn(x~1,EncoderOut,EncoderOut))\tilde{x}_2 = \text{LayerNorm}(\tilde{x}_1 + \text{CrossAttn}(\tilde{x}_1, \text{EncoderOut}, \text{EncoderOut}))x~2=LayerNorm(x~1+CrossAttn(x~1,EncoderOut,EncoderOut))
x~3=LayerNorm(x~2+FFN(x~2))\tilde{x}_3 = \text{LayerNorm}(\tilde{x}_2 + \text{FFN}(\tilde{x}_2))x~3=LayerNorm(x~2+FFN(x~2))
其中EncoderOut\text{EncoderOut}EncoderOut是编码器的最终输出,未来掩码让掩码自注意力的权重矩阵下三角为1、上三角为0,屏蔽未来信息。
7.5.4 输出层:从特征到预测序列
Decoder的最终输出是维度为n×dmodeln \times d_{model}n×dmodel的特征矩阵,通过两层简单的变换得到目标序列的预测概率:
- 线性层:将特征维度从dmodeld_{model}dmodel投影到目标词表的大小VVV,得到维度为n×Vn \times Vn×V的得分矩阵;
- Softmax层:对得分矩阵的每一行做Softmax归一化,得到每个位置对应词表中每个词的预测概率;
- 自回归生成:每次选择概率最大的词作为当前输出,将其加入解码器的输入,继续生成下一个词,直到生成结束符(EOS)。
7.6 Transformer的训练与优化技巧
Transformer是一个深层模型(Encoder+Decoder共12层),且包含大量可学习参数(约1亿),直接训练容易出现梯度消失、训练震荡、过拟合等问题,因此需要一系列针对性的训练和优化技巧,这些技巧也是Transformer能成功训练的关键。
7.6.1 损失函数:带掩码的交叉熵损失
Transformer的目标是序列生成,采用交叉熵损失作为基础损失函数,且加入掩码忽略padding部分的损失,避免无效的padding字符影响训练:
- 对目标序列中的padding位置,将其损失权重设为0;
- 仅计算有效字符的交叉熵损失,求和后取平均作为最终的训练损失。
7.6.2 优化器与学习率调度:Adam+学习率预热
- 优化器:采用Adam优化器,并设置β1=0.9\beta_1=0.9β1=0.9,β2=0.98\beta_2=0.98β2=0.98,ϵ=10−9\epsilon=10^{-9}ϵ=10−9,相比标准Adam,更适合Transformer的深层模型,能稳定梯度更新;
- 学习率调度:采用学习率预热(Warmup)+线性衰减的策略,解决深层模型初始训练时梯度震荡的问题:
- 预热阶段:前warmup_stepswarmup\_stepswarmup_steps步(原始论文为4000步),学习率从0线性增加到最大值dmodel−0.5d_{model}^{-0.5}dmodel−0.5;
- 衰减阶段:预热结束后,学习率随训练步数的增加线性衰减,公式为:
lr=dmodel−0.5×min(step−0.5,step×warmup_steps−1.5)lr = d_{model}^{-0.5} \times \min\left( step^{-0.5}, step \times warmup\_steps^{-1.5} \right)lr=dmodel−0.5×min(step−0.5,step×warmup_steps−1.5)
7.6.3 正则化方法:Dropout+标签平滑
- Dropout:在多头自注意力层、交叉注意力层、前馈网络层的输出后均加入Dropout(丢弃率p=0.1p=0.1p=0.1),随机丢弃部分特征,防止过拟合;
- 标签平滑(Label Smoothing):将真实标签的独热向量从1改为1−ϵ1-\epsilon1−ϵ,其他位置改为ϵ/(V−1)\epsilon/(V-1)ϵ/(V−1)(ϵ=0.1\epsilon=0.1ϵ=0.1),缓解模型的过自信,提升泛化能力,避免模型对预测结果过于确定。
7.6.4 其他工程优化
- 批量归一化替代:采用层归一化(LayerNorm)而非批量归一化(BatchNorm),因为序列数据的批量中各样本长度不同,BatchNorm无法有效计算;
- 残差连接初始化:对残差连接后的线性投影矩阵做小方差初始化,避免残差连接的输出模值过大,导致训练不稳定;
- 并行训练:利用GPU/TPU的矩阵运算能力,将注意力和前馈网络的计算全部并行化,大幅提升训练速度。
7.7 Transformer的经典变体:从Encoder/Decoder到多领域扩展
原始Transformer的Encoder-Decoder结构适合Seq2Seq生成任务,但在自然语言理解(NLU)、自然语言生成(NLG)、计算机视觉等不同领域,需要对其结构进行简化和改进,形成了一系列经典的Transformer变体,这些变体已成为各领域的主流模型。
7.7.1 Encoder-only变体:BERT——自然语言理解的基石
BERT(Bidirectional Encoder Representations from Transformers)是仅使用Transformer编码器的变体,核心是通过预训练+微调的范式,实现自然语言理解任务的通用特征提取,成为NLU任务(文本分类、情感分析、问答、命名实体识别)的基准模型。
- 核心结构:堆叠12/24层Transformer Encoder,采用双向多头自注意力;
- 预训练任务:设计两个无监督预训练任务,让模型学习通用的语言特征:
- 掩码语言模型(MLM):随机掩码输入序列中15%的词,让模型预测掩码的词,学习双向上下文特征;
- 下一句预测(NSP):让模型判断两个句子是否为连续的下一句,学习句子间的关联特征;
- 微调方式:在预训练模型的顶部加入简单的分类/回归层,针对具体任务做少量训练,实现快速适配。
7.7.2 Decoder-only变体:GPT系列——自然语言生成的标杆
GPT(Generative Pre-trained Transformer)是仅使用Transformer解码器的变体,核心是自回归语言模型,适合自然语言生成任务(文本生成、对话、机器翻译、代码生成),目前已发展到GPT-4,成为大语言模型(LLM)的代表。
- 核心结构:堆叠12/96层Transformer Decoder,采用单向掩码多头自注意力;
- 预训练任务:采用因果语言模型(CLM),让模型根据前文预测下一个词,学习单向的上下文生成能力;
- 核心优势:自回归生成的文本流畅度极高,且通过大规模预训练(千亿级参数、万亿级数据),能实现零样本/少样本学习。
7.7.3 长序列优化变体:Transformer-XL/Reformer
针对原始Transformer序列长度受限、计算复杂度高的问题,研究者提出了一系列长序列优化变体,让Transformer能处理上万长度的序列:
- Transformer-XL:引入循环机制和相对位置编码,让模型能复用前一段序列的隐状态,处理长序列时无需截断,且能捕捉跨段的长程依赖;
- Reformer:采用局部敏感哈希(LSH) 将自注意力的计算复杂度从O(n2d)O(n^2d)O(n2d)降为O(ndlogn)O(n d \log n)O(ndlogn),大幅降低长序列的计算量,同时加入可逆残差连接,减少显存占用;
- Linformer:用线性投影替代自注意力的全连接,将计算复杂度降为O(nd)O(n d)O(nd),适合超长篇序列(比如n=100000n=100000n=100000)。
7.7.4 计算机视觉变体:ViT/Swin Transformer
Transformer不仅在NLP领域取得成功,还被广泛扩展到计算机视觉领域,替代CNN成为CV的主流模型,核心是将图像转化为序列数据,再用Transformer处理:
- ViT(Vision Transformer):将图像切成固定大小的Patch(比如16×16),将每个Patch展平为向量,作为Transformer的输入序列,加入位置编码后,用Encoder提取图像特征,适用于图像分类;
- Swin Transformer:提出窗口自注意力和层次化结构,将自注意力的计算限制在局部窗口内,降低计算量,同时通过窗口融合捕捉全局信息,适用于图像分类、目标检测、语义分割等所有CV任务。
7.8 注意力机制与Transformer的扩展应用
注意力机制和Transformer的出现,打破了NLP、CV、语音识别等领域的技术壁垒,形成了大一统的深度学习框架,目前已被广泛应用于人工智能的各个领域,成为跨模态、大模型的核心基础。
7.8.1 自然语言处理(NLP)
这是Transformer最核心的应用领域,覆盖几乎所有NLP任务:
- 自然语言理解:文本分类、情感分析、命名实体识别、关系抽取、问答系统;
- 自然语言生成:机器翻译、文本摘要、对话系统、代码生成、诗歌创作;
- 其他:文本纠错、关键词提取、机器阅读理解。
7.8.2 计算机视觉(CV)
Transformer已逐步替代CNN,成为CV的主流框架,应用于各类视觉任务:
- 基础视觉:图像分类、图像检索、图像生成(Diffusion+Transformer);
- 高级视觉:目标检测、语义分割、实例分割、姿态估计、视频理解。
7.8.3 语音识别与处理
将语音的梅尔频谱转化为序列数据,用Transformer替代传统的RNN/CNN,提升语音识别的准确率和效率:
- 语音识别:语音转文字(ASR)、文字转语音(TTS);
- 语音理解:语音情感分析、语音唤醒、多语言语音翻译。
7.8.4 多模态融合
注意力机制能有效融合不同模态的信息(文本、图像、语音、视频),成为多模态人工智能的核心:
- 图文融合:图文检索、视觉问答(VQA)、图像字幕生成;
- 音视频融合:视频字幕生成、语音-视频同步、多模态对话;
- 经典模型:CLIP(图文对比预训练)、BLIP(多模态图文理解)、FLAVA(通用多模态模型)。
7.8.5 其他领域
- 推荐系统:用自注意力建模用户行为序列,提升推荐的精准度;
- 强化学习:用Transformer建模环境的状态序列,提升强化学习的决策能力;
- 生物信息学:用Transformer处理DNA/蛋白质序列,预测蛋白质结构、分子属性。
7.9 总结
注意力机制和Transformer是深度学习发展的重要里程碑,它们摒弃了CNN和RNN的固有结构,以自适应权重分配和全并行计算为核心,解决了长距离依赖建模和计算效率的问题,形成了大一统的深度学习框架。
核心要点
- 注意力机制的核心是Q-K-V三元组框架,通过相似度计算分配权重,加权求和得到输出,能直接建模任意位置的依赖;
- 自注意力是Q-K-V来自同一序列的注意力,是Transformer的基础,需加入位置编码捕捉时序信息;
- 多头自注意力通过子空间划分,让模型同时捕捉多类型的依赖关系,提升特征表达能力;
- Transformer采用Encoder-Decoder结构,Encoder负责特征提取(双向自注意力),Decoder负责序列生成(掩码自注意力+跨注意力),且加入残差连接和层归一化保证训练稳定;
- Transformer的经典变体分为Encoder-only(BERT)、Decoder-only(GPT)、长序列优化(Transformer-XL)和CV扩展(ViT/Swin Transformer),分别适用于不同领域;
- 注意力机制和Transformer已成为NLP、CV、语音、多模态等领域的核心基础,是大模型和跨模态人工智能的关键技术。
深入阅读推荐
- 想掌握核心原理:Transformer原始论文《Attention Is All You Need》(通俗易懂,经典必读);
- 想深入注意力机制:《Attention Mechanisms in Deep Learning》(综述论文);
- 想学习BERT/GPT:BERT原始论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》、GPT-3论文《Language Models are Few-Shot Learners》;
- 想学习视觉Transformer:ViT论文《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》、Swin Transformer论文《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》;
- 想学习实践:PyTorch/TensorFlow的Transformer官方实现、Hugging Face Transformers库(一站式调用所有经典模型)。
647



被折叠的 条评论
为什么被折叠?



