第7章 注意力机制与Transformer

Transformer——Attention 注意力机制 softmax函数的输入由key向量和query向量之间的点积组成,key向量和query向量的维度 越大,点积往往越大, 原文论中12个head对应的大小是64,作者在原论文中采用的补救措施,是将点积除以key和query维度的平方根。人类通过眼睛的视觉单元去扫描图像,其中的重点区域会被大脑的神经元处理从而获得更多的信息,这是人类长期精华所获得的一种能力。计算机的注意力机制模型就是从大量信息(Values)中筛选出少量的重要信息,这个重要信息对于另外一个信息(Query)是重要的。 阅读详情

第7章 注意力机制与Transformer

前面章节讲解的CNN擅长捕捉空间局部特征,RNN(LSTM/GRU)擅长处理时序序列,但二者都存在明显局限:CNN建模长距离依赖需要堆叠大量层,参数冗余且效率低;RNN是串行计算(必须按时间步依次处理),无法并行化,且长程依赖的捕捉能力仍有瓶颈。

注意力机制的核心灵感来自人类的注意力习惯——看图片时会聚焦主体、忽略背景,读文本时会关注关键词、弱化无关词汇,它能让模型自适应地为输入信息分配不同的注意力权重,重点关注重要信息,直接建模任意两个位置的依赖关系,无需依赖层堆叠或时序串行。

Transformer是基于自注意力机制的深层模型,完全摒弃了CNN和RNN的结构,以“自注意力+前馈网络”为核心,实现了全并行计算,能高效建模长距离依赖,成为自然语言处理(NLP)的主流框架,还被广泛扩展到计算机视觉(CV)、语音识别、多模态融合等领域。

本章将从注意力机制的核心动机出发,逐步讲解基础注意力、自注意力、多头自注意力的原理,再拆解Transformer的完整结构,最后介绍其经典变体和扩展应用,让你掌握这一深度学习的核心模型。

7.1 注意力机制的核心动机:解决CNN/RNN的固有局限

要理解注意力机制的价值,首先要明确CNN和RNN在处理序列/网格数据时的核心问题,以及注意力如何针对性解决这些问题:

7.1.1 RNN的核心问题:串行计算+长程依赖瓶颈

  1. 串行计算,效率低下:RNN处理序列时必须按时间步依次计算,第t步的隐状态依赖第t-1步,无法并行处理整个序列,当序列很长(比如上万词的文本)时,训练和推理速度极慢;
  2. 长程依赖仍有瓶颈:虽然LSTM/GRU缓解了梯度消失问题,但对于超长篇序列(比如T=10000),历史信息仍会逐渐衰减,无法精准建模远距离位置的关联。

7.1.2 CNN的核心问题:长距离依赖需层堆叠+感受野固定

  1. 长距离依赖依赖层堆叠:CNN的感受野随层数增加而扩大,要建模长距离依赖需要堆叠大量卷积层,导致参数增多、模型复杂,且容易出现过拟合和梯度消失;
  2. 感受野固定,灵活性差:卷积核的大小决定了感受野的范围,是固定的,无法自适应地关注输入中任意位置的信息,比如处理文本时,无法让一个词灵活关联到序列中任意距离的另一个词。

7.1.3 注意力机制的核心解决思路

注意力机制从三个维度解决了上述问题,成为CNN/RNN的理想替代方案:

  1. 直接建模任意位置依赖:无需层堆叠或时序传递,能直接计算输入中任意两个位置的关联权重,精准捕捉长距离依赖;
  2. 全并行计算:注意力的计算不依赖时序或空间的顺序,可同时处理整个输入序列,大幅提升计算效率;
  3. 自适应权重分配:根据输入内容的重要性,动态分配注意力权重,重点关注关键信息,忽略无关信息,提升模型的特征提取能力。

简单来说:注意力机制让模型拥有了“自主选择关注对象”的能力,这是CNN和RNN不具备的核心特性。

7.2 基础注意力机制:Query-Key-Value三元组框架

所有注意力机制的核心都基于Query(查询,Q)-Key(键,K)-Value(值,V) 三元组框架,这是一个通用的注意力计算范式,先理解这个基础框架,就能轻松掌握所有注意力变体。

7.2.1 注意力的直观理解

用查字典的例子能快速理解Q-K-V的含义:

  • Query(Q):你想要查询的问题(比如“注意力机制是什么?”);
  • Key(K):字典中的所有词条标题(比如“注意力机制”“自注意力”“Transformer”);
  • Value(V):字典中每个词条对应的详细解释;
  • 注意力计算:将你的问题(Q)和所有词条标题(K)对比相似度,相似度高的词条(比如“注意力机制”)分配更高的权重,最后用权重对词条解释(V)加权求和,得到最终的回答。

7.2.2 通用注意力计算框架

给定查询集合Q∈Rdq×nq\boldsymbol{Q} \in \mathbb{R}^{d_q \times n_q}Q∈Rdq​×nq​、键集合K∈Rdk×nk\boldsymbol{K} \in \mathbb{R}^{d_k \times n_k}K∈Rdk​×nk​、值集合V∈Rdv×nv\boldsymbol{V} \in \mathbb{R}^{d_v \times n_v}V∈Rdv​×nv​(通常nk=nvn_k=n_vnk​=nv​),注意力的计算分为4个核心步骤,且所有步骤均可微,能通过反向传播训练:

  1. 计算相似度:用相似度函数计算每个Q与所有K的相似度,得到注意力得分矩阵S∈Rnq×nk\boldsymbol{S} \in \mathbb{R}^{n_q \times n_k}S∈Rnq​×nk​;
  2. 权重归一化:用归一化函数(通常是Softmax)将注意力得分转换为注意力权重矩阵A∈Rnq×nk\boldsymbol{A} \in \mathbb{R}^{n_q \times n_k}A∈Rnq​×nk​,权重之和为1,体现“关注程度”;
  3. 加权求和:将注意力权重矩阵与值集合V做矩阵乘法,得到注意力输出Attn(Q,K,V)=A⋅V\boldsymbol{Attn}(Q,K,V) = \boldsymbol{A} \cdot \boldsymbol{V}Attn(Q,K,V)=A⋅V;
  4. 可选:线性投影:对注意力输出做一次线性变换,增强模型表达能力。

核心公式:
Attn(Q,K,V)=Softmax(sim(Q,K)dk)⋅V\boldsymbol{Attn}(Q,K,V) = \text{Softmax}\left( \frac{\text{sim}(Q,K)}{\sqrt{d_k}} \right) \cdot VAttn(Q,K,V)=Softmax(dk​​sim(Q,K)​)⋅V
其中dk\sqrt{d_k}dk​​是缩放因子,用于解决高维度下点积相似度模值过大、Softmax输出过于极端的问题。

7.2.3 两种经典的基础注意力

基础注意力的核心差异在于相似度函数的选择,目前最常用的是加性注意力和点积注意力,二者各有适用场景:

(1)加性注意力(Bahdanau注意力)
  • 相似度函数:通过两层感知器将Q和K融合后计算相似度,适合Q和K维度不同的场景;
    sim(q,k)=va⊤tanh⁡(Waq+Uak)\text{sim}(\boldsymbol{q},\boldsymbol{k}) = \boldsymbol{v}_a^\top \tanh\left( \boldsymbol{W}_a \boldsymbol{q} + \boldsymbol{U}_a \boldsymbol{k} \right)sim(q,k)=va⊤​tanh(Wa​q+Ua​k)
    其中Wa、Ua、va\boldsymbol{W}_a、\boldsymbol{U}_a、\boldsymbol{v}_aWa​、Ua​、va​是可学习参数。
  • 优点:兼容性强,Q和K维度可不同,建模能力更强;
  • 缺点:计算量稍大,涉及非线性变换。
(2)点积注意力(Luong注意力)& 缩放点积注意力
  • 点积注意力:直接计算Q和K的内积作为相似度,适合Q和K维度相同的场景,计算效率极高;
    sim(q,k)=q⊤k\text{sim}(\boldsymbol{q},\boldsymbol{k}) = \boldsymbol{q}^\top \boldsymbol{k}sim(q,k)=q⊤k
  • 缩放点积注意力:点积注意力加缩放因子dk\sqrt{d_k}dk​​,是Transformer的核心注意力方式,解决高维点积的数值问题;
  • 优点:计算速度极快,可通过矩阵乘法并行实现,适合大规模数据;
  • 缺点:仅适用于Q和K维度相同的场景。

7.2.4 软注意力与硬注意力

根据注意力权重的特性,可将注意力分为软注意力和硬注意力,实际应用中软注意力占绝对主流:

  1. 软注意力:注意力权重是连续的实数(0~1),权重之和为1,可微,能通过反向传播直接训练,是目前所有主流模型的选择;
  2. 硬注意力:从K中随机选择一个或少数几个位置,仅对这些位置的V加权求和,权重是0-1的离散值,不可微,无法直接反向传播,需通过强化学习等方式训练,实现复杂且效果不稳定。

7.2.5 基础注意力的典型应用:Seq2Seq中的注意力

基础注意力最早被应用在RNN-based的序列到序列(Seq2Seq)模型中(比如机器翻译),解决传统Seq2Seq的“固定上下文向量”问题:

  • 传统Seq2Seq:编码器将源序列压缩为一个固定维度的上下文向量,解码器仅基于该向量生成目标序列,长序列时会丢失大量信息;
  • 加注意力的Seq2Seq:解码器每一步生成时,都会基于当前隐状态生成Q,与编码器所有步的隐状态(K/V)计算注意力,得到动态的上下文向量,能关注源序列中与当前生成词相关的部分,大幅提升长序列翻译的效果。

7.3 自注意力机制:建模序列内部的依赖关系

基础注意力是跨模态/跨序列的注意力(比如Q来自解码器,K/V来自编码器),而自注意力(Self-Attention) 是更核心的变体——Q、K、V均来自同一个输入序列,能直接建模序列内部任意两个位置的依赖关系,是Transformer的基础。

7.3.1 自注意力的核心定义

自注意力的核心特点是输入和输出是同一序列,通过计算序列中每个位置与自身所有位置的注意力权重,让每个位置的特征融合序列中其他位置的信息,实现序列内部的特征交互。

比如处理文本序列“他昨天去了北京,今天她要去那里”:

  • 序列中每个词作为一个位置,生成对应的Q、K、V;
  • 计算“那里”这个词与其他所有词的注意力权重,会发现“那里”对“北京”的权重远高于其他词;
  • 最终“那里”的特征会融合“北京”的特征,让模型理解二者的指代关系。

7.3.2 自注意力的计算步骤

以文本序列处理为例,自注意力的计算步骤清晰且可全并行实现,假设输入是长度为nnn的序列,每个位置的特征维度为dind_{in}din​:

  1. 线性投影生成Q/K/V:通过3个独立的线性层,将输入序列分别投影为查询Q\boldsymbol{Q}Q、键K\boldsymbol{K}K、值V\boldsymbol{V}V,维度均为dmodeld_{model}dmodel​(Transformer中经典值为512);
    Q=X⋅WQ,K=X⋅WK,V=X⋅WV\boldsymbol{Q} = \boldsymbol{X} \cdot \boldsymbol{W}_Q, \quad \boldsymbol{K} = \boldsymbol{X} \cdot \boldsymbol{W}_K, \quad \boldsymbol{V} = \boldsymbol{X} \cdot \boldsymbol{W}_VQ=X⋅WQ​,K=X⋅WK​,V=X⋅WV​
    其中X∈Rn×din\boldsymbol{X} \in \mathbb{R}^{n \times d_{in}}X∈Rn×din​是输入序列,WQ/WK/WV\boldsymbol{W}_Q/\boldsymbol{W}_K/\boldsymbol{W}_VWQ​/WK​/WV​是可学习的投影矩阵。
  2. 计算缩放点积注意力:按通用框架计算缩放点积注意力,得到注意力权重矩阵和初步输出;
  3. 线性投影输出:对注意力初步输出做一次线性变换,得到自注意力的最终输出O∈Rn×dmodel\boldsymbol{O} \in \mathbb{R}^{n \times d_{model}}O∈Rn×dmodel​。

7.3.3 位置编码:为自注意力加入时序信息

自注意力的最大缺陷是:不包含时序/位置信息——它是全并行计算的,将序列的位置打乱后,自注意力的计算结果完全不变,而时序数据(文本、语音)的位置顺序是核心信息。

为了解决这个问题,需要给自注意力的输入加入位置编码(Positional Encoding),让模型能捕捉序列的位置信息,核心思路是:将位置的数学特征编码为向量,与输入特征向量相加。

目前主流的位置编码有两种,均适用于任意长度的序列:

  1. 正弦余弦位置编码(Transformer原始方案):基于正弦和余弦函数的周期性,生成固定的位置编码向量,无需学习,且能处理超出现有训练长度的序列;
    对于位置pospospos和维度iii,编码公式为:
    PE(pos,2i)=sin⁡(pos100002i/dmodel),PE(pos,2i+1)=cos⁡(pos100002i/dmodel)PE(pos,2i) = \sin\left( \frac{pos}{10000^{2i/d_{model}}} \right), \quad PE(pos,2i+1) = \cos\left( \frac{pos}{10000^{2i/d_{model}}} \right)PE(pos,2i)=sin(100002i/dmodel​pos​),PE(pos,2i+1)=cos(100002i/dmodel​pos​)
  2. 可学习位置编码:将位置编码作为可学习的参数矩阵,由模型在训练过程中自动学习,灵活性更高,但对未见过的长序列泛化能力稍差。

关键操作:位置编码的维度与输入特征维度一致,直接与输入特征向量逐元素相加,不改变特征维度,仅加入位置信息。

7.3.4 自注意力的优势与不足

自注意力是Transformer的核心,相比CNN和RNN有显著优势,但也存在固有不足,后续的模型变体均是为了弥补这些不足:

核心优势
  1. 全并行计算:无时序依赖,可同时处理整个序列,训练和推理效率远高于RNN;
  2. 无距离衰减的长程依赖建模:直接计算任意两个位置的注意力权重,长距离位置的关联不会随距离增加而衰减,精准捕捉长程依赖;
  3. 灵活的特征交互:每个位置能自适应地融合序列中所有位置的信息,比CNN的固定感受野更灵活。
固有不足
  1. 计算复杂度高:时间和空间复杂度均为O(n2dmodel)O(n^2 d_{model})O(n2dmodel​),其中nnn是序列长度,dmodeld_{model}dmodel​是特征维度,当序列很长(比如n=10000n=10000n=10000)时,n2n^2n2会导致计算量爆炸;
  2. 对局部特征的捕捉能力弱:CNN擅长捕捉局部特征,而自注意力对所有位置一视同仁,建模局部特征的效率不如CNN。

7.4 多头自注意力:提升自注意力的特征表达能力

多头自注意力(Multi-Head Self-Attention) 是对自注意力的核心改进,由Transformer首次提出,它通过将Q/K/V投影到多个相互独立的子空间,分别计算自注意力,再将结果拼接融合,让模型能同时捕捉不同类型的依赖关系,大幅提升自注意力的特征表达能力。

7.4.1 多头自注意力的核心思想

人类在理解信息时,会从多个角度关注不同的重点(比如读文本时,同时关注句法结构、语义关联、相邻词搭配),多头自注意力就是模拟这一过程:

  • 将Q/K/V通过线性投影,拆分为hhh个头(Head),每个头对应一个子空间;
  • 每个头独立计算缩放点积自注意力,捕捉一种类型的依赖关系(比如头1关注句法,头2关注语义,头3关注相邻词);
  • 将hhh个头的注意力输出拼接,再通过一次线性投影,融合所有头的特征,得到最终的多头自注意力输出。

7.4.2 多头自注意力的计算步骤

假设Transformer的特征维度dmodel=512d_{model}=512dmodel​=512,头数h=8h=8h=8(经典设置),则每个头的特征维度dk=dv=dmodel/h=64d_k=d_v=d_{model}/h=64dk​=dv​=dmodel​/h=64:

  1. 多投影生成子空间Q/K/V:将输入序列的Q/K/V分别通过hhh个独立的线性投影,生成hhh组子Q、子K、子V,每组维度为n×64n \times 64n×64;
  2. 分头计算自注意力:对每组子Q、子K、子V,独立计算缩放点积自注意力,得到hhh个注意力输出,每个输出维度为n×64n \times 64n×64;
  3. 拼接头输出:将hhh个头的输出按特征维度拼接,得到维度为n×(8×64)=n×512n \times (8 \times 64)=n \times 512n×(8×64)=n×512的拼接特征;
  4. 线性投影融合:对拼接特征做一次线性变换,得到最终的多头自注意力输出,维度保持n×512n \times 512n×512。

核心公式:
MultiHead(Q,K,V)=Concat(head1,...,headh)⋅WO\text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1,...,\text{head}_h) \cdot \boldsymbol{W}_OMultiHead(Q,K,V)=Concat(head1​,...,headh​)⋅WO​
headi=ScaledDotProductAttn(QWQi,KWKi,VWVi)\text{head}_i = \text{ScaledDotProductAttn}(Q\boldsymbol{W}_Q^i, K\boldsymbol{W}_K^i, V\boldsymbol{W}_V^i)headi​=ScaledDotProductAttn(QWQi​,KWKi​,VWVi​)
其中WO\boldsymbol{W}_OWO​是拼接后的线性投影矩阵,WQi/WKi/WVi\boldsymbol{W}_Q^i/\boldsymbol{W}_K^i/\boldsymbol{W}_V^iWQi​/WKi​/WVi​是第iii个头的投影矩阵。

7.4.3 多头自注意力的核心价值

多头自注意力并非简单的“多做几次自注意力”,而是通过子空间划分,让模型学习到互补的特征,相比单头自注意力有两个核心价值:

  1. 捕捉多类型依赖:不同的头会关注不同的依赖关系,比如在机器翻译中,有的头关注源序列和目标序列的词对齐,有的头关注相邻词的搭配,有的头关注长距离的指代;
  2. 提升特征的多样性和表达能力:多个头的特征拼接融合后,能形成更丰富的特征表示,比单头自注意力更能刻画输入的复杂特征。

实验结论:Transformer中头数h=8h=8h=8是经过大量实验验证的最优设置,过少的头无法捕捉足够的依赖类型,过多的头会增加计算量且带来过拟合风险。

7.5 Transformer的整体结构:Encoder-Decoder经典框架

Transformer采用编码器-解码器(Encoder-Decoder) 的双层结构,这是序列到序列(Seq2Seq)任务的经典框架(比如机器翻译、文本摘要),其中编码器负责对输入序列进行特征提取,生成包含全局信息的上下文特征;解码器负责基于编码器的上下文特征,生成目标序列。

Transformer的Encoder和Decoder均由多层相同的子层堆叠而成,且所有子层都加入了残差连接和层归一化,解决深层网络的梯度消失问题,提升训练稳定性。

7.5.1 Transformer的整体架构

以Transformer原始论文的设置为例,核心参数为:特征维度dmodel=512d_{model}=512dmodel​=512,头数h=8h=8h=8,前馈网络隐藏层维度dff=2048d_{ff}=2048dff​=2048,Encoder堆叠6层,Decoder堆叠6层。

整体架构的信息流向为:
输入序列→Embedding+位置编码→Encoder堆叠→上下文特征→Decoder堆叠→线性层+Softmax→目标序列\text{输入序列} \rightarrow \text{Embedding+位置编码} \rightarrow \text{Encoder堆叠} \rightarrow \text{上下文特征} \rightarrow \text{Decoder堆叠} \rightarrow \text{线性层+Softmax} \rightarrow \text{目标序列}输入序列→Embedding+位置编码→Encoder堆叠→上下文特征→Decoder堆叠→线性层+Softmax→目标序列

7.5.2 编码器(Encoder):输入序列的特征提取器

Encoder的核心功能是对输入序列进行无监督的全局特征提取,生成包含序列所有位置信息的上下文特征,其每一层由两个子层组成,且每个子层都配有残差连接和层归一化(Pre-Norm结构,先归一化再做子层计算):

  1. 多头自注意力层:采用双向多头自注意力,能捕捉输入序列中任意两个位置的双向依赖关系(比如文本中的前后文关联);
  2. 前馈神经网络(FFN):对每个位置的特征进行独立的非线性变换,提升模型的非线性表达能力,由两层线性层+ReLU激活组成:
    FFN(x)=max⁡(0,xW1+b1)W2+b2\text{FFN}(x) = \max(0, x\boldsymbol{W}_1 + \boldsymbol{b}_1) \boldsymbol{W}_2 + \boldsymbol{b}_2FFN(x)=max(0,xW1​+b1​)W2​+b2​

Encoder单层的计算流程:
x~1=LayerNorm(x+MultiHeadSelfAttn(x))\tilde{x}_1 = \text{LayerNorm}(x + \text{MultiHeadSelfAttn}(x))x~1​=LayerNorm(x+MultiHeadSelfAttn(x))
x~2=LayerNorm(x~1+FFN(x~1))\tilde{x}_2 = \text{LayerNorm}(\tilde{x}_1 + \text{FFN}(\tilde{x}_1))x~2​=LayerNorm(x~1​+FFN(x~1​))
其中xxx是当前层的输入,x~2\tilde{x}_2x~2​是当前层的输出,残差连接保证了梯度的有效传递。

Encoder的关键特性:输入序列的所有位置可全并行计算,无时序依赖,且双向自注意力能充分捕捉全局信息。

7.5.3 解码器(Decoder):目标序列的生成器

Decoder的核心功能是基于编码器的上下文特征,自回归地生成目标序列,其每一层由三个子层组成,同样配有残差连接和层归一化,且加入了掩码(Mask) 机制防止信息泄露:

  1. 掩码多头自注意力层:采用单向掩码多头自注意力,加入未来掩码(Future Mask),让解码器在生成第t个位置的词时,无法看到第t个位置之后的词,保证自回归生成的合理性;
  2. 编码器-解码器注意力层:采用跨注意力(Cross-Attention),Q来自解码器的上一层输出,K/V来自编码器的最终输出,让解码器在生成每个词时,能关注输入序列中相关的位置;
  3. 前馈神经网络(FFN):与Encoder的FFN完全相同,对每个位置的特征做独立非线性变换。

Decoder单层的计算流程:
x~1=LayerNorm(x+MaskedMultiHeadSelfAttn(x))\tilde{x}_1 = \text{LayerNorm}(x + \text{MaskedMultiHeadSelfAttn}(x))x~1​=LayerNorm(x+MaskedMultiHeadSelfAttn(x))
x~2=LayerNorm(x~1+CrossAttn(x~1,EncoderOut,EncoderOut))\tilde{x}_2 = \text{LayerNorm}(\tilde{x}_1 + \text{CrossAttn}(\tilde{x}_1, \text{EncoderOut}, \text{EncoderOut}))x~2​=LayerNorm(x~1​+CrossAttn(x~1​,EncoderOut,EncoderOut))
x~3=LayerNorm(x~2+FFN(x~2))\tilde{x}_3 = \text{LayerNorm}(\tilde{x}_2 + \text{FFN}(\tilde{x}_2))x~3​=LayerNorm(x~2​+FFN(x~2​))
其中EncoderOut\text{EncoderOut}EncoderOut是编码器的最终输出,未来掩码让掩码自注意力的权重矩阵下三角为1、上三角为0,屏蔽未来信息。

7.5.4 输出层:从特征到预测序列

Decoder的最终输出是维度为n×dmodeln \times d_{model}n×dmodel​的特征矩阵,通过两层简单的变换得到目标序列的预测概率:

  1. 线性层:将特征维度从dmodeld_{model}dmodel​投影到目标词表的大小VVV,得到维度为n×Vn \times Vn×V的得分矩阵;
  2. Softmax层:对得分矩阵的每一行做Softmax归一化,得到每个位置对应词表中每个词的预测概率;
  3. 自回归生成:每次选择概率最大的词作为当前输出,将其加入解码器的输入,继续生成下一个词,直到生成结束符(EOS)。

7.6 Transformer的训练与优化技巧

Transformer是一个深层模型(Encoder+Decoder共12层),且包含大量可学习参数(约1亿),直接训练容易出现梯度消失、训练震荡、过拟合等问题,因此需要一系列针对性的训练和优化技巧,这些技巧也是Transformer能成功训练的关键。

7.6.1 损失函数:带掩码的交叉熵损失

Transformer的目标是序列生成,采用交叉熵损失作为基础损失函数,且加入掩码忽略padding部分的损失,避免无效的padding字符影响训练:

  1. 对目标序列中的padding位置,将其损失权重设为0;
  2. 仅计算有效字符的交叉熵损失,求和后取平均作为最终的训练损失。

7.6.2 优化器与学习率调度:Adam+学习率预热

  1. 优化器:采用Adam优化器,并设置β1=0.9\beta_1=0.9β1​=0.9,β2=0.98\beta_2=0.98β2​=0.98,ϵ=10−9\epsilon=10^{-9}ϵ=10−9,相比标准Adam,更适合Transformer的深层模型,能稳定梯度更新;
  2. 学习率调度:采用学习率预热(Warmup)+线性衰减的策略,解决深层模型初始训练时梯度震荡的问题:
    • 预热阶段:前warmup_stepswarmup\_stepswarmup_steps步(原始论文为4000步),学习率从0线性增加到最大值dmodel−0.5d_{model}^{-0.5}dmodel−0.5​;
    • 衰减阶段:预热结束后,学习率随训练步数的增加线性衰减,公式为:
      lr=dmodel−0.5×min⁡(step−0.5,step×warmup_steps−1.5)lr = d_{model}^{-0.5} \times \min\left( step^{-0.5}, step \times warmup\_steps^{-1.5} \right)lr=dmodel−0.5​×min(step−0.5,step×warmup_steps−1.5)

7.6.3 正则化方法:Dropout+标签平滑

  1. Dropout:在多头自注意力层、交叉注意力层、前馈网络层的输出后均加入Dropout(丢弃率p=0.1p=0.1p=0.1),随机丢弃部分特征,防止过拟合;
  2. 标签平滑(Label Smoothing):将真实标签的独热向量从1改为1−ϵ1-\epsilon1−ϵ,其他位置改为ϵ/(V−1)\epsilon/(V-1)ϵ/(V−1)(ϵ=0.1\epsilon=0.1ϵ=0.1),缓解模型的过自信,提升泛化能力,避免模型对预测结果过于确定。

7.6.4 其他工程优化

  1. 批量归一化替代:采用层归一化(LayerNorm)而非批量归一化(BatchNorm),因为序列数据的批量中各样本长度不同,BatchNorm无法有效计算;
  2. 残差连接初始化:对残差连接后的线性投影矩阵做小方差初始化,避免残差连接的输出模值过大,导致训练不稳定;
  3. 并行训练:利用GPU/TPU的矩阵运算能力,将注意力和前馈网络的计算全部并行化,大幅提升训练速度。

7.7 Transformer的经典变体:从Encoder/Decoder到多领域扩展

原始Transformer的Encoder-Decoder结构适合Seq2Seq生成任务,但在自然语言理解(NLU)、自然语言生成(NLG)、计算机视觉等不同领域,需要对其结构进行简化和改进,形成了一系列经典的Transformer变体,这些变体已成为各领域的主流模型。

7.7.1 Encoder-only变体:BERT——自然语言理解的基石

BERT(Bidirectional Encoder Representations from Transformers)是仅使用Transformer编码器的变体,核心是通过预训练+微调的范式,实现自然语言理解任务的通用特征提取,成为NLU任务(文本分类、情感分析、问答、命名实体识别)的基准模型。

  1. 核心结构:堆叠12/24层Transformer Encoder,采用双向多头自注意力;
  2. 预训练任务:设计两个无监督预训练任务,让模型学习通用的语言特征:
    • 掩码语言模型(MLM):随机掩码输入序列中15%的词,让模型预测掩码的词,学习双向上下文特征;
    • 下一句预测(NSP):让模型判断两个句子是否为连续的下一句,学习句子间的关联特征;
  3. 微调方式:在预训练模型的顶部加入简单的分类/回归层,针对具体任务做少量训练,实现快速适配。

7.7.2 Decoder-only变体:GPT系列——自然语言生成的标杆

GPT(Generative Pre-trained Transformer)是仅使用Transformer解码器的变体,核心是自回归语言模型,适合自然语言生成任务(文本生成、对话、机器翻译、代码生成),目前已发展到GPT-4,成为大语言模型(LLM)的代表。

  1. 核心结构:堆叠12/96层Transformer Decoder,采用单向掩码多头自注意力;
  2. 预训练任务:采用因果语言模型(CLM),让模型根据前文预测下一个词,学习单向的上下文生成能力;
  3. 核心优势:自回归生成的文本流畅度极高,且通过大规模预训练(千亿级参数、万亿级数据),能实现零样本/少样本学习。

7.7.3 长序列优化变体:Transformer-XL/Reformer

针对原始Transformer序列长度受限、计算复杂度高的问题,研究者提出了一系列长序列优化变体,让Transformer能处理上万长度的序列:

  1. Transformer-XL:引入循环机制和相对位置编码,让模型能复用前一段序列的隐状态,处理长序列时无需截断,且能捕捉跨段的长程依赖;
  2. Reformer:采用局部敏感哈希(LSH) 将自注意力的计算复杂度从O(n2d)O(n^2d)O(n2d)降为O(ndlog⁡n)O(n d \log n)O(ndlogn),大幅降低长序列的计算量,同时加入可逆残差连接,减少显存占用;
  3. Linformer:用线性投影替代自注意力的全连接,将计算复杂度降为O(nd)O(n d)O(nd),适合超长篇序列(比如n=100000n=100000n=100000)。

7.7.4 计算机视觉变体:ViT/Swin Transformer

Transformer不仅在NLP领域取得成功,还被广泛扩展到计算机视觉领域,替代CNN成为CV的主流模型,核心是将图像转化为序列数据,再用Transformer处理:

  1. ViT(Vision Transformer):将图像切成固定大小的Patch(比如16×16),将每个Patch展平为向量,作为Transformer的输入序列,加入位置编码后,用Encoder提取图像特征,适用于图像分类;
  2. Swin Transformer:提出窗口自注意力和层次化结构,将自注意力的计算限制在局部窗口内,降低计算量,同时通过窗口融合捕捉全局信息,适用于图像分类、目标检测、语义分割等所有CV任务。

7.8 注意力机制与Transformer的扩展应用

注意力机制和Transformer的出现,打破了NLP、CV、语音识别等领域的技术壁垒,形成了大一统的深度学习框架,目前已被广泛应用于人工智能的各个领域,成为跨模态、大模型的核心基础。

7.8.1 自然语言处理(NLP)

这是Transformer最核心的应用领域,覆盖几乎所有NLP任务:

  • 自然语言理解:文本分类、情感分析、命名实体识别、关系抽取、问答系统;
  • 自然语言生成:机器翻译、文本摘要、对话系统、代码生成、诗歌创作;
  • 其他:文本纠错、关键词提取、机器阅读理解。

7.8.2 计算机视觉(CV)

Transformer已逐步替代CNN,成为CV的主流框架,应用于各类视觉任务:

  • 基础视觉:图像分类、图像检索、图像生成(Diffusion+Transformer);
  • 高级视觉:目标检测、语义分割、实例分割、姿态估计、视频理解。

7.8.3 语音识别与处理

将语音的梅尔频谱转化为序列数据,用Transformer替代传统的RNN/CNN,提升语音识别的准确率和效率:

  • 语音识别:语音转文字(ASR)、文字转语音(TTS);
  • 语音理解:语音情感分析、语音唤醒、多语言语音翻译。

7.8.4 多模态融合

注意力机制能有效融合不同模态的信息(文本、图像、语音、视频),成为多模态人工智能的核心:

  • 图文融合:图文检索、视觉问答(VQA)、图像字幕生成;
  • 音视频融合:视频字幕生成、语音-视频同步、多模态对话;
  • 经典模型:CLIP(图文对比预训练)、BLIP(多模态图文理解)、FLAVA(通用多模态模型)。

7.8.5 其他领域

  • 推荐系统:用自注意力建模用户行为序列,提升推荐的精准度;
  • 强化学习:用Transformer建模环境的状态序列,提升强化学习的决策能力;
  • 生物信息学:用Transformer处理DNA/蛋白质序列,预测蛋白质结构、分子属性。

7.9 总结

注意力机制和Transformer是深度学习发展的重要里程碑,它们摒弃了CNN和RNN的固有结构,以自适应权重分配和全并行计算为核心,解决了长距离依赖建模和计算效率的问题,形成了大一统的深度学习框架。

核心要点

  1. 注意力机制的核心是Q-K-V三元组框架,通过相似度计算分配权重,加权求和得到输出,能直接建模任意位置的依赖;
  2. 自注意力是Q-K-V来自同一序列的注意力,是Transformer的基础,需加入位置编码捕捉时序信息;
  3. 多头自注意力通过子空间划分,让模型同时捕捉多类型的依赖关系,提升特征表达能力;
  4. Transformer采用Encoder-Decoder结构,Encoder负责特征提取(双向自注意力),Decoder负责序列生成(掩码自注意力+跨注意力),且加入残差连接和层归一化保证训练稳定;
  5. Transformer的经典变体分为Encoder-only(BERT)、Decoder-only(GPT)、长序列优化(Transformer-XL)和CV扩展(ViT/Swin Transformer),分别适用于不同领域;
  6. 注意力机制和Transformer已成为NLP、CV、语音、多模态等领域的核心基础,是大模型和跨模态人工智能的关键技术。

深入阅读推荐

  • 想掌握核心原理:Transformer原始论文《Attention Is All You Need》(通俗易懂,经典必读);
  • 想深入注意力机制:《Attention Mechanisms in Deep Learning》(综述论文);
  • 想学习BERT/GPT:BERT原始论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》、GPT-3论文《Language Models are Few-Shot Learners》;
  • 想学习视觉Transformer:ViT论文《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》、Swin Transformer论文《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》;
  • 想学习实践:PyTorch/TensorFlow的Transformer官方实现、Hugging Face Transformers库(一站式调用所有经典模型)。
Transformer--编码器和解码器(包含掩码张量,注意力机制,多头注意力机制) 编码器部分: 由N个编码器层堆叠而成,每个编码器层由两个子层连接结构组成,第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接,第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接💡在讲述编码器的结构之前,我们先引入三个概念--掩码张量,注意力机制,多头注意力机制。 阅读详情

相关推荐

注意力机制与Transformer

参考来源:《神经网络与深度学习》(邱锡鹏)、B站李宏毅老师的课程更新ing...

LiangManqi0320的博客 647

李宏毅深度学习教程 第6-7章 自注意力机制 + Transformer

李宏毅深度学习教程 第6-7章 自注意力机制 + Transformer。编码器、解码器的操作原理,以及有哪些特定情形的优化变形手法,如多头注意力,截断自注意力,束搜索,复制机制。

nju_spy的博客 1536

【第7章:注意力机制与Transformer模型—7.2 Transformer架构的详解与应用案例】

想象你正在考试,面对一道难题时,大脑会自动聚焦相关的知识点,这就是注意力的本质——选择性聚焦。在NLP中,每个单词都需要决定应该关注上下文中的哪些部分。# 伪代码示例 for 每个查询词 in 句子 : 计算它与所有键词的相似度得分 → 注意力分数用softmax转换成概率分布 → 注意力权重用权重对值词进行加权求和 → 最终表示Transformer的故事远未结束。从最初的机器翻译模型,到如今赋能ChatGPT这样的对话系统,这个架构正在重塑整个人工智能领域。

商务合作|问题讨论|交流学习 请联系作者微信,加微信请务必注明来意,博客主页有联系方式 185

第7章:基于MLCA注意力机制的Swin Transformer图像分类项目

本文提出了一种结合多级通道注意力(MLCA)机制的SwinTransformer图像分类系统。该系统在SwinTransformer骨干网络基础上,创新性地引入了双路特征融合的MLCA模块,通过平均池化和最大池化捕捉不同粒度特征,并利用轻量级MLP学习通道重要性权重。实验采用端到端训练流程,包含数据增强、Adam优化器(学习率0.0001)和交叉熵损失函数,支持实时监控6个关键指标。系统具有模块化设计、可视化训练过程和自动保存最佳模型等特点,在保持SwinTransformer强大特征提取能力的同时,显著提

2401_82355416的博客 940

【第7章:注意力机制与Transformer模型—7.3 注意力机制与Transformer模型的优化与改进策略】

从2017年诞生至今,Transformer已衍生出数百种变体。这个架构的成功启示我们:突破性创新往往来自对根本假设的挑战。当所有人都认为序列必须顺序处理时,Transformer用自注意力打开了新世界。而它的进化仍在继续——或许在下个转角,就会有新的架构革新再次颠覆我们的认知。掌握其精髓不在于记住公式,而在于理解这种"注意力哲学":在信息爆炸的时代,学会选择性关注才是智能的本质。

商务合作|问题讨论|交流学习 请联系作者微信,加微信请务必注明来意,博客主页有联系方式 294

【第7章:注意力机制与Transformer模型—7.1 注意力机制的基本原理与实现方法】

从2017年横空出世至今,Transformer已经深刻改变了AI发展的轨迹。它就像自然语言处理的乐高积木,通过不同组合方式不断创造新的可能。理解注意力机制,不仅是掌握了一个技术工具,更是获得了一把打开现代AI大门的钥匙。下次当你用谷歌翻译或者与聊天机器人对话时,不妨会心一笑——此刻,正有无数个Q、K、V矩阵在为你辛勤工作呢!

商务合作|问题讨论|交流学习 请联系作者微信,加微信请务必注明来意,博客主页有联系方式 174

《从零构建大模型》:小白也能上手的大模型实战指南!这本《从零构建大模型》让我彻底搞懂大模型构建的

《从零构建大模型》是由AI专家塞巴斯蒂安·拉施卡撰写的实用指南,采用PyTorch框架,通过"理论+实践"方式系统讲解大语言模型开发。全书7章内容涵盖LLM原理、数据处理、注意力机制、GPT构建、预训练、微调及RLHF等核心知识,特别强调可在笔记本电脑上完成所有实践操作。该书在GitHub获82.5k星标,Amazon评分4.7分,提供从入门到实战的完整学习路径,包括Transformer架构解析、自注意力实现、模型训练优化等关键技术细节,是掌握大模型开发的高质量资源。

2401_85390073的博客 715

【第7章:注意力机制与Transformer模型—7.4 NLP领域的BERT、GPT系列模型】

当你在2017年第一次听说Transformer时,可能不会想到这个模型会在短短三年内彻底改变NLP领域。想象一下,原本需要数周训练的翻译模型,现在用Transformer架构几天就能达到更好的效果;那些让程序员们头疼的梯度消失问题,突然变得不再重要。这一切的魔法钥匙,都藏在一个叫做"注意力机制"的黑匣子里。本文要做的,就是把这个黑匣子拆解成乐高积木,让你看到每个零件的运作原理。准备好了吗?我们要从最基础的神经元开始,一路讲到GPT-4的秘密。

商务合作|问题讨论|交流学习 请联系作者微信,加微信请务必注明来意,博客主页有联系方式 508

神经网络到底在关注哪里?注意力机制与Transformer

注意力机制与Transformer 1 注意力机制介绍 PART1 浅谈注意力 注意力(attention)是人类学习中必不可少的要素,比如我们去阅读一个文章,或者试着去理解一本书中作者想表达的意思,我们通常在阅读过程中会把注意力放在比较重要的环节上,而不是去把每个细节都会一一记住。人的记忆是有限的,抓重点的学习习惯往往会得到事半功倍的效果。 那既然注意力这么重要,我们有没有办法把它用在AI应用中呢? 这就是注意力机制(attention mechanism)! 在过去几年取得了飞速的发展,而且已

5642

芒果YOLOv5改进08:改进超多种注意力机制,预计30万字(内附改进源代码),原创改进超多种Attention注意力机制和Transformer自注意力机制

YOLO代码+超多种以上注意力机制改进代码实践|预计超30万字数,结合YOLOv5、YOLOv7、YOLOv8、YOLOX系列等模型进行改进

包括YOLOv5、YOLOv7、YOLOv8等模型改进 1万+

新一代XMOS会议四麦方案主控芯片 XVF3800

2023年,知名的音频芯片制造厂商 XMOS 正式发布了新一代会议麦阵芯片片 XVF3800 ,这款芯片采用最先进的四麦音频算法,可在嘈杂的环境中提供高质量语音,算法支持圆形、条形阵列,可根据应用场景组成不同的产品形态。传统的麦阵解决方案,不仅需要捕捉会议中的人声,也会同时捕捉环境中的其他噪声,而 XMOS 先进的语音算法解决了这一问题。声学回声消除功能可消除麦克风音频输入的回声,同时减少远端回声,使 XVF3800 能提取清晰的语音信号。• 180度拾音条形麦克风阵列。• 360度拾音环形麦克风阵列。

PawPaw_electron的博客 785

神经网络学习小记录77——深入浅出Self-Attention自注意力机制与Transformer模块

Self-Attention自注意力机制是Transformer模块的重要组成部分,是截至到现在(2024年1月6日)大大小小网络的标配,无论是LLM还是StableDiffusion,内部都有Self-Attention与Transformer,因此,一起来学学哈哈。

Bubbliiiing的学习小课堂 1万+

c++ mysql_init 返回无效指针_C++操作MYSQL遇到的一些问题

首先 我使用的是 vcpkg上面是我装的一些库《大大安利vcpkg 安装时一定要使用powershell进行编译装上vcpkg后装ligmariadb这个库,这个对Mysql操作还是挺方便的,然后说一下 在装库时碰到的一些问题1.网络问题1.参考了一下 github上的答案 将下载失败的url拷下来 自己下 然后再重新开始安装《vcpkg在安装时每一个需要下载的 都会提供url-仔细找,2.这个问...

weixin_32176627的博客 682

【深度学习】注意力机制与自注意力机制详解

注意力机制的计算流程:在第一阶段,计算 Query 与不同 Key 之间的相关性,从而生成不同 Value 的权重系数。第二阶段对第一阶段的输出进行归一化,将数值范围映射到 0 和 1 之间。根据权重系数对 Value 进行加权求和,最终得到注意力数值。在计算相似性或相关性时,常用的方法包括点积、余弦相似性和多层感知机(MLP)网络。由于产生方法的不同,第一阶段得分的取值范围也有所区别。

aixdm的博客 1万+

保姆级教程:用ROS2 Humble + Gazebo Classic 从零搭建一个能键盘控制的差分AGV模型

本文提供了一份详细的ROS2 Humble与Gazebo Classic教程,指导用户从零开始搭建一个键盘控制的差分AGV模型。内容涵盖环境配置、Xacro文件设计、Gazebo仿真集成以及键盘控制实现,特别针对常见问题提供解决方案,帮助开发者快速掌握ROS2机器人仿真技术。

weixin_30387423的博客 169

变压器耦合放大器(低频应用+高频应用)

变压器耦合放大器(低频应用+高频应用)

m0_54943120的博客 2275

Transformer与注意力机制

循环神经网络(RNN)是专门用来处理自然语言、金融信息等时序数据的一种神经网络。它的结构和运作方式如下图所示,基于马尔可夫决策模型。图1 循环神经网络的结构和运作方式应该注意到以下几个性质:RNN是输入数据的。(时序中靠后的输入依赖前面一个输入的隐层输出值)RNN层数不固定,但总共只有3个参数组(输入参数、隐藏参数、输出参数),**各层之间共享权重。**其实这也好理解,因为时序序列中每一个输入输出的映射关系,应该与其在时序中所处的位置无关。所以RNN各层的权重应该共享,实际只训练了一层的参数。

weixin_42923076的博客 1987

内网(极空间)搭建gitlab跳板机转发端口及域名配置

然后,回头尝试用内网地址+15022 clone,成功,用公网的ip+15222 clone失败,那就是定位到时nginx转发的问题了。首先想到的就是 git clone是通过ssh的22端口进行下载的,那就需要打通22端口,则又配置22端口的nginx转发。然后,我通过ssh命令,做一个端口转发,以实现内网穿透,将服务端口链接到跳板机上。然后穿透到阿里云服务器跳板机的端口,只能内网访问,需要用nginx做个转发,才能用公网ip进行访问。然后,如上,我的80端口,映射15080,22端口映射15022。

God丶Davide的博客 6078

解码Transformer:自注意力机制与编解码器机制详述与代码实现

本文全面探讨了Transformer及其衍生模型,深入分析了自注意力机制、编码器和解码器结构,并列举了其编码实现加深理解,最后列出基于Transformer的各类模型如BERT、GPT等。文章旨在深入解释Transformer的工作原理,并展示其在人工智能领域的广泛影响。

TechLead 3432

保姆级教程:从 TLE 数据源获取到 Cesium 卫星轨迹可视化全流程(含常见报错排查)

本文提供从TLE数据源获取到Cesium卫星轨迹可视化的全流程保姆级教程,涵盖数据预处理、satellite.js计算、Cesium集成及性能优化等关键步骤,并针对常见报错提供详细排查方案,帮助开发者高效实现卫星轨迹可视化。

weixin_29002595的博客 297

lammps构建高熵合金模型+结构优化初步筛选能量最小的结构

lammps构建高熵合金模型+结构优化初步筛选能量最小的结构

qq_45834835的博客 2605

Transformer模型的多头注意力机制,非常通俗的讲解

Transformer模型最核心的内容就是。今天的这篇文章,我希望能帮助同学们:在没有学习过Transformer的情况下,快速的学习它的核心算法:多头自注意力机制;很多时候,如果我们想快速的学习一个特别复杂的模型,比如Transformer。最好一开始,就能对它的核心结构,有一个基本的“认知”。然后再去深入的探索这个模型的算法设计和代码实现。这样能够让我们更快的学习和理解这个复杂的深度学习模型。学习的过程,也会变得事半功倍!“多头自注意力机制”,就是Transformer的核心结构。

xiangxueerfei的博客 2764

SIWAVE仿真PCB操作说明

使用SIWAVE进行PCB仿真提取S参数的操作

sinat_15150363的博客 3075

注意力机制与transformer 的关系与区别

摘要: 注意力机制是Transformer的核心组件,其本质是一种动态权重分配方法,通过计算Query、Key和Value的相关性,确定信息的重要性。而Transformer是一种完整神经网络架构,系统化整合了多头自注意力、位置编码、前馈网络等模块,实现了并行化长序列建模。二者的关系类似于发动机与汽车——注意力机制提供基础计算能力,Transformer通过多层堆叠和工程优化形成高效模型,支撑了BERT、GPT等大语言模型的发展。相比传统RNN,Transformer因自注意力机制的优势,在并行计算和长程依

金石软件 402

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Transformer 中自注意力机制的 一些细节理解

摘自知乎博主作者:月来客栈首先让我们先一起来看看作者当时为什么要提出Transformer这个模型?需要解决什么样的问题?现在的模型有什么样的缺陷?现在主流的序列模型都是基于复杂的循环神经网络或者是构造而来的Encoder-Decoder模型,并且就算是目前性能最好的序列模型也都是基于注意力机制下的Encoder-Decoder架构。

weixin_45840973的博客 1339

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 【回归算法】Lasso回归详解
下一篇: 【回归算法】Ridge回归详解
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值