Transformer中的Add & Norm:为什么残差连接和层归一化是训练深度模型的黄金搭档?

Transformer中的Add & Norm:为什么残差连接和层归一化是训练深层模型的黄金搭档? 本文深入解析了Transformer架构中“Add & Norm”模块的核心作用。残差连接通过构建梯度传播的“高速公路”,有效缓解了深层模型训练中的梯度消失与爆炸问题。层归一化则稳定了每一层输入的分布,解决了内部协变量偏移的挑战。两者协同工作,共同构成了训练深层Transformer模型的稳定基石,是模型能够成功堆叠数十甚至上百层的关键设计。 阅读详情

Transformer中的Add & Norm:为什么残差连接和层归一化是训练深度模型的黄金搭档?

深度神经网络在自然语言处理领域的突破性进展,很大程度上归功于Transformer架构的创新设计。其中,残差连接(Add)与层归一化(Norm)的组合堪称现代深度学习的"黄金标准配置"。这对搭档不仅解决了梯度消失和内部协变量偏移这两大顽疾,更让千亿参数大模型的训练成为可能。本文将深入解析这对技术组合的协同效应,并展示如何通过代码实现其完整价值。

1. 残差连接:深度网络的梯度高速公路

2015年ResNet的横空出世,彻底改变了人们对神经网络深度的认知。残差连接的核心思想简单却深刻:如果深层网络难以学习新特征,至少应该保留浅层网络已经学到的有效特征。这种设计形成了信息传输的"高速公路",让梯度可以直达网络浅层。

1.1 残差连接的数学本质

典型的残差块实现如下:

class ResidualBlock(nn.Module):
    def __init__(self, hidden_size):
        super().__init__()
        self.linear = nn.Linear(hidden_size, hidden_size)
        self.dropout = nn.Dropout(0.1)
        
    def forward(self, x):
        residual = x
        x = self.linear(x)
        x = self.dropout(x)
        x = F.relu(x)
        return x + residual  # 关键残差连接

这种设计带来了三个关键优势:

  • 梯度传播稳定性:反向传播时,梯度可以直接通过加法操作回传,避免了传统链式法则中的连乘效应
  • 特征复用性:网络可以自主决定每个残差块的"贡献度",新层只需学习残差特征
  • 退化免疫性:最差情况下新增层可以学习恒等映射,保证性能不下降

1.2 Transformer中的残差设计

在标准Transformer中,残差连接出现在两个关键位置:

  1. 自注意力层后:Attention_output + 原始输入
  2. 前馈网络后:FFN_output + 自注意力输出

这种双重残差设计形成了层次化的特征提取体系。实际训练中,我们常观察到:

  • 浅层残差主要传递词嵌入等基础特征
  • 深层残差则承载了复杂的语义组合信息

2. 层归一化:稳定训练的调节器

层归一化(LayerNorm)是处理序列数据的神兵利器。与批归一化(BatchNorm)不同,它对单个样本的所有特征维度进行归一化,完美适配变长序列输入。

2.1 层归一化的实现细节

标准LayerNorm的实现包含以下要素:

class LayerNorm(nn.Module):
    def __init__(self, hidden_size, eps=1e-6):
        super().__init__()
        self.gamma = nn.Parameter(torch.ones(hidden_size))  # 可学习缩放参数
        self.beta = nn.Parameter(torch.zeros(hidden_size))  # 可学习偏移参数
        self.eps = eps
        
    def forward(self, x):
        mean = x.mean(-1, keepdim=True)
        std = x.std(-1, keepdim=True)
        return self.gamma * (x - mean) / (std + self.eps) + self.beta

关键参数说明:

参数作用典型初始化值训练变化规律
gamma特征维度缩放全1根据特征重要性自适应调整
beta特征维度偏移全0补偿归一化造成的信息损失

2.2 为什么Transformer选择层归一化?

对比常见归一化方法的适用场景:

方法计算维度适合场景序列数据处理
BatchNorm批次维度固定尺寸输入效果差
LayerNorm特征维度变长序列效果优
InstanceNorm单样本维度风格迁移不适用

在语言模型中,LayerNorm展现出独特优势:

  1. 长度无关性:对每个样本独立归一化,不受批次内序列长度差异影响
  2. 训练稳定性:缓解了深层网络中激活值分布漂移的问题
  3. 参数效率:仅需2×hidden_size的可学习参数

3. Add & Norm的协同效应

当残差连接遇上层归一化,产生了1+1>2的化学反应。这种组合在Transformer中通常以前置归一化(Pre-LN)的形式出现:

输入 → LayerNorm → 子层计算 → Add → 输出

3.1 梯度流动的优化路径

通过代码分析梯度传播路径:

# 前置归一化结构
def forward(x):
    residual = x
    x = layernorm(x)      # 归一化
    x = self_attention(x) # 子层计算
    return x + residual   # 残差连接

梯度传播表现出双重优势:

  1. 归一化梯度:LayerNorm确保进入子层的梯度具有稳定量级
  2. 残差捷径:Add操作提供了低阻力的梯度回传路径

实验数据显示,这种结构相比后置归一化(Post-LN):

  • 训练速度提升2-3倍
  • 最终模型性能提高0.5-1 BLEU(在翻译任务中)

3.2 实际训练曲线对比

使用PyTorch实现的训练过程对比:

# 训练监控代码示例
def train(model, dataloader):
    optimizer = torch.optim.Adam(model.parameters(), lr=1e-4)
    for epoch in range(100):
        for batch in dataloader:
            outputs = model(batch)
            loss = criterion(outputs, targets)
            loss.backward()
            optimizer.step()
            # 记录梯度范数
            grad_norms = [p.grad.norm() for p in model.parameters()]

典型训练数据对比:

架构类型初始梯度范数稳定后梯度范数收敛步数
无Add&Norm1e-61e-850k+
Post-LN1e-31e-430k
Pre-LN1e-21e-310k

4. 现代变体与最佳实践

随着模型规模扩大,Add & Norm的细节设计也持续进化。

4.1 主流改进方案

  1. DeepNorm(GLM-130B采用):
    # 缩放残差连接
    output = (α * sublayer(x)) + x  # α通常取0.5-0.8
    
  2. RMSNorm(LLaMA采用):
    # 去均值简化版
    def rms_norm(x):
        return x * γ / (x.pow(2).mean(-1, keepdim=True) + ε).sqrt()
    

4.2 工程实现技巧

在自定义层时需注意:

  • 初始化策略:

    • γ初始化为1
    • β初始化为0
    • 残差路径最后一层初始化为0(保证初始阶段近似恒等映射)
  • 混合精度训练:

    with autocast():
        x = float16(x)
        residual = float32(residual)  # 保持高精度累加
        output = x + residual
    

实际部署中发现,合理配置的Add & Norm结构可以使:

  • 训练batch size提升2-4倍
  • 最大学习率提高3-5倍
  • 模型深度突破1000层仍保持稳定训练
深入解析Transformer中的Add & Norm:残差连接与层归一化的协同效应 本文深入解析了Transformer架构中Add & Norm模块的核心原理与协同效应。通过剖析残差连接如何解决深度网络中的梯度消失问题,以及层归一化如何稳定数据分布,揭示了二者“先加后归一化”的顺序设计如何共同保障了Transformer模型的训练稳定性和深度扩展能力,是BERT、GPT等大模型成功的基石。 阅读详情

相关推荐

28、异步电路的实时验证

本文深入探讨了异步电路在实时环境下的验证方法和技术,重点分析了响应时间、可靠性和容错能力等关键问题。文章介绍了形式化验证、仿真模拟、符号模型检查和实验室测试等多种验证手段,并结合异步FIFO和加法器的具体案例,展示了不同验证方法的应用场景与效果。同时,讨论了如何通过状态压缩、并行验证和分层验证等方式优化复杂电路的验证过程,旨在为工程师和研究人员提供系统性的参考和指导。

ujm56789012的博客 160

异步测试_异步电路简介(1/3)

整理了近期学习的一些异步电路知识。outline:同步电路异步电路异步通信异步模块简图数据编码方式组合逻辑与C单元异步电路基本单元1. 同步电路所有状态翻转发生在同步时钟的跳变沿;时钟沿之间可以有glitch,但需要满足set-up/hold times;时钟周期大于最大延迟。设计挑战:时钟扭曲(clock skew)现象:要求时钟同步;高性能处理器中时钟树功耗大约占总功耗的35%~40%;2. ...

weixin_35029527的博客 579

AI对战五子棋——深度学习策略网络

在本篇博文中,我们完成了:✔ 构建一个 CNN 五子棋策略网络✔ 让神经网络输出落子概率✔ 使用 Policy Gradient 强化学习训练 AI✔ 让 AI 实现人与 AI、AI 自对弈博弈。

X2829352498的博客 49

RNNoise-SpeexDSP-WebRTC使用说明

本文介绍RNNoise、SpeexDSP与WebRTC音频处理库的下载、调用及参数配置方法,适用于Android语音工程集成。RNNoise基于深度学习,适合非稳态噪声降噪,需48kHz输入;SpeexDSP支持多采样率与回声消除,适用于全双工场景;WebRTC提供轻量级窄带处理。三者可串联使用:麦克风信号先经前级降噪(RNNoise或SpeexDSP),再进入WebRTC媒体引擎进行编码。重点说明各库的典型应用场景、接口调用方式、关键参数调节策略及采样率转换注意事项,帮助开发者高效集成与优化语音处理链路。

知识共享,你我皆是知识的搬运工 239

Android-音频配置文件详解

前言:   Android P 引入了一种新的音频政策配置文件格式 (XML),用于描述音频拓扑。新的 XML 文件支持定义输出输入流配置文件、可用于播放和捕获的设备以及音频属性的数量和类型。但是每个项目的代码里面都有很多音频配置文件,具体使用的是哪个文件呢?本文将详细讲述。 1. 查看运行时具体使用的xml adb shell dumpsys media.audio_policy | grep -iE "Config source:" 结果如下: Config source: /vendor

cheriyou_的博客 3947

FICO F.27 Customer statement 打印

需求,定制化打印,替换标准的F.27打印 类似于采购订单的打印,但是略有不同,查阅资料之后步骤如下: T-code F.27 is SAP standard program to produce customer/vendor correspondence (letter). Correspondence Type is used to specify the related printing program and form for the particular correspondence. SAP

IamRunjiang的博客 1970

基于深度学习的商品评论情感分析系统-毕业设计

面向商品评论的中文情感分析系统,支持单条预测、批量分析、情感分布与关键词、报告导出。TextCNN、BiLSTM、Transformer 在同一词表、同一数据切分、同一种子与超参下公平对比,测试集 F1 分别为 0.9101、0.9089、0.9075。结论是这一规模下模型复杂度未带来收益,但误差结构不同。附技术栈、截图、文档预览与演示视频。

csbysj2020 158

从“盲控”到“预见”:聊聊永磁同步电机负载观测器(PMSM Load Observer)如何让控制更丝滑

本文深入探讨了永磁同步电机负载观测器(PMSM Load Observer)如何通过前馈补偿和转动惯量辨识技术实现智能抗扰控制。从传统‘盲控’到预见性调节,负载观测器显著减少转速波动和能耗,提升系统响应速度。文章详细解析了观测器算法架构、工程调参技巧及前沿发展趋势,为电机控制领域提供实用解决方案。

weixin_33737774的博客 406

Transformer 为什么能取代 RNN?从自注意力讲起

2017 年谷歌在《Attention Is All You Need》中提出 Transformer,核心是。它如今是 GPT、BERT、ChatGPT 的共同底座。

anew___的博客 979

ESP32-P4 GPIO双域架构:HP/LP分离、寄存器级控制与低功耗工程实践

GPIO(通用输入输出)是嵌入式系统中最基础且高频使用的硬件接口,其性能、灵活性与功耗特性直接影响产品实时性与续航能力。现代高性能MCU如ESP32-P4通过HP/LP双电源域分离、可编程IO复用(IO MUX)、信号交换矩阵及硬件自动化机制(如ETM事件、Sigma-Delta调制),将传统GPIO升级为兼具模拟能力、亚微秒响应与微安级待机的智能外设子系统。其核心价值在于实现引脚功能动态重构、中断零延迟处理、Deep-sleep期间自主唤醒与多核安全操作。典型应用场景涵盖工业PLC信号采集、电池供电传感器

weixin_35949153的博客 102

WSL2部署Cadence Virtuoso IC25.1:Ubuntu 26.04排障实录

WSL2以轻量虚拟机结合完整Linux内核,为Windows桌面环境提供了原生级Linux运行能力,解决了传统虚拟机资源开销大、双系统切换低效的问题。对于依赖X11图形协议、FlexNet许可服务和特定动态库的EDA工具链而言,利用WSL2部署Linux发行版需要关注系统集成、显示通路与许可连通性。从技术原理看,图形层X Server的配置、动态库依赖的补齐以及license服务的主机名解析,共同构成EDA工具在WSL2中稳定运行的关键环节。在芯片设计场景中,设计工程师常需在Windows办公机与Linux

weixin_29597551的博客 215

【原创深度学习项目】基于深度学习的建筑工地防护装备检测系统|安全帽与反光衣检测系统(RT-DETR-L 模型)

本文设计并实现了一套基于RT-DETR-L的建筑工地防护装备检测系统,采用Django+Vue前后端架构,实现对安全帽、反光背心等7类装备及“无PPE”“未戴安全帽”等缺失状态的精准识别。系统支持图片、视频、摄像头实时检测,具备参数可调、数据可视化与统计分析功能,有效解决小目标漏检、误检及管理难问题,助力智慧工地安全管理落地。文末可获取源码。

qq_1445749146的博客 232

35、使用 Geo 创建 GitLab 的分布式只读副本

本文详细介绍了如何使用GitLab Geo功能创建分布式只读副本,涵盖数据库主从配置、SSH密钥查找方式更改、通过Web UI添加从节点、激活哈希存储及状态检查等关键步骤。同时提供了常见问题解答和配置流程图,帮助用户快速部署并维护Geo集群,实现跨地域的高效数据同步与高可用架构。

chair的专栏 81

图解循环神经网络(RNN)

RNN(循环神经网络)就是“带记忆的网络”:让网络拥有一块“记忆”,在处理当前数据时,能同时参考之前看过的内容;它不一次性看完全部输入,而是像人读书一样,一个字一个字地读,每读一个字就更新一次脑子里的记忆,然后用这份记忆去理解当前这个字。但便签一直在被改写,新信息不断挤占旧信息,传到第 40 步时,“巴黎”的痕迹已经淡得几乎没了。读到“贵”的时候,网络并没有重新去查“好看”这个词——但“好看”的影响已经融在了便签里(那个 1.5)。这三个困难的共同点:答案不在当前这一个字里,而在“前面那串东西”里。

技术管理两手抓,两手都要硬. 424

手把手教你学PCIE(10.5)--PCIE故障排除方法的分步排查法介绍

通过以上分步排查法,你可以系统地诊断和解决 PCIe 设备的故障。每个步骤都有助于逐步缩小问题范围,最终找到并解决问题。

MHD0815的博客 1873

Seurat-SCTransform与harmony整合学习

源于R tips:Seurat之SCTransform方法原理 (qq.com)Seurat对象在经过SCTransform处理后会增加一个SCT的Assay,里面的scaled.data就是经过scale之后的pearson residual值,这个值是用于后续降维聚类分析使用的。

hx2024的博客 2332

神经网络入门指南:从 CNN、RNN 到 Attention

神经网络的学习,本质是“预测—比较—纠错”的循环;CNN 通过局部连接与权重共享理解图像;RNN 通过隐藏状态传递上下文;LSTM 和 GRU 用门控机制管理记忆;Encoder–Decoder 把理解与生成拆成两个阶段;Attention 则让模型在每一步都能主动寻找最相关的信息。到这里,我们已经走完了从普通神经网络到 Attention 的完整路线。下一篇将正式进入 Transformer,看看它如何摆脱 RNN 的顺序计算,又如何让每个 Token 直接找到与自己相关的信息。

爱敲代码的小黄 396

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

AI 学习第 15 课:变长序列不 pack 直接喂 RNN,隐状态全被 0 污染

NLP 的 batch 里句子长短不一,短句垫 0 补齐后直接喂 RNN,看似能跑,实际上每个 0 垫步都在更新隐状态——短序列的最后一步输出根本不是它真实句子的结果。这一课用 torch 2.15(

aifannihao的博客 160

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

CNN 卷积神经网络深度解析:卷积、池化与特征提取的底层原理

卷积核(Kernel),也叫滤波器(Filter),本质上是一个可以训练的权重矩阵。1 0 -11 0 -11 0 -1这个卷积核可以对图像中的局部像素进行加权计算。不同的卷积核能够提取不同类型的特征:水平边缘特征垂直边缘特征纹理特征角点特征局部形状特征在传统图像处理中,滤波器通常由人工设计。而在 CNN 中,卷积核的权重通过训练数据和反向传播自动学习得到。这也是 CNN 能够自动提取图像特征的关键。# 第一层卷积padding=1# 第二层卷积padding=1。

2503_90237586的博客 294

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

图解常用深度学习优化器

来隐式构造 Hessian 逆的近似,从而直接估计出“谷底在哪”,而非仅仅判断“哪边最陡”。即SGD/Adam 主要看“当前坡度”,LBFGS 还会看“最近几步坡度怎么变”,像用局部地形图来规划路线。训练 Transformer 时,有些层梯度大,有些层梯度小。如果用 Adam + L2,梯度大的参数反而可能被“少衰减”,正则效果不稳定;:你要下山,但每次迈步前都要派侦察兵把整座山的每一个坡面都测量一遍,算出“绝对最陡”的方向才走一步。:还是下山,但这次你只问身边一个路人“哪边最陡”,然后就走。

技术管理两手抓,两手都要硬. 219

【无标题】无人机视角道路坑洞坑洼目标检测数据集深度学习 目标检测 无人机航拍 道路坑洞 路面病害 YOLO格式 数据集发布9032期

(一)类别构成该数据集聚焦单一类别——坑洞(类别 ID 为 0),任务指向明确,围绕无人机俯视视角下的道路坑洞目标开展检测标注。类别体系精简,与公路路面病害巡检的实际需求高度契合,图像中的坑洞样本可直接作为路面破损识别的核心正样本,便于对接道路养护排查流程。(二)数据数量数据集规模为 3285 张无人机俯视航拍图像,采用标准 YOLO txt 标注格式,标注框总计 4457 个,其中带有效标注的图片 2007 张,全部图片均带有有效标注。

qq_2529413168的博客 187

基于深度学习的猫图像目标检测方法研究:YOLOv8s模型海选、多种子对比训练与Django+ONNX部署实现详解

本课题基于深度学习研究猫图像目标检测问题。数据集含1000张猫图像、1188个标注框,按固定比例划分并冻结清单;训练前在多个候选族中短训海选,确定YOLOv8s为主模型,经学习率搜索与显存标定后完成150轮训练,验证集mAP50达到0.92,并以7个随机种子的对比实验验证稳定性。最优权重导出为ONNX接入Django系统,提供图片、视频、摄像头三种识别方式,配套识别记录管理与统计大屏,形成从训练到应用的完整闭环。

WEIXIN_JSJBSZDS的博客 220

第 05/24 期:计算图与自动微分:深度学习如何计算梯度

本文系统阐述了神经网络训练中梯度计算的本质:损失对参数的敏感性。通过构建计算图,将复杂函数分解为基本运算,利用链式法则实现反向传播。核心在于反向模式自动微分——以一次前向计算为基础,通过传播输出对中间变量的敏感性,高效求得所有参数梯度。相比前向模式,反向模式在参数多、目标为标量的场景下更高效。计算图不仅适用于神经网络,也广泛适用于任意可微程序。关键思想是:梯度是局部导数与上游敏感性的乘积,分支路径的贡献需累加,从而保证导数计算的正确性与效率。

weixin_47502228的博客 331

【深度学习项目实战·30】PM2.5短期预测:用LSTM构造没有未来信息的滑动窗口

本文基于北京PM2.5数据,使用LSTM实现从最近24小时历史观测预测下一小时PM2.5。重点解决时间切分、因果填补、滑动窗口构建与标准化等关键问题,确保模型仅依赖过去信息,避免未来泄漏。通过滚动单步预测与持续性基线对比,评估在原始单位下的MAE/RMSE,验证模型有效性。强调时间顺序与数据完整性,为时序预测提供可复现的实践框架。

银尘博客 519

无人机巡检道路路面异常检测数据集 深度学习 目标检测 无人机巡检 道路病害 路面异常 YOLO格式 数据集发布9028期

无人机巡检道路路面异常检测数据集 深度学习 目标检测 无人机巡检 道路病害 路面异常 YOLO格式 数据集发布9028期

qq_2529413168的博客 213

深度学习 目标检测 无人机巡检 防震锤 电力设备 YOLO格式 数据集发布

深度学习 目标检测 无人机巡检 防震锤 电力设备 YOLO格式 数据集发布 9038期

qq_2529413168的博客 335
上一篇: 用PyCharm调试Webots Python控制器:环境配置+实时交互技巧
下一篇: FPGA高速收发器GTX实战:从零搭建12.5Gbps通信链路(附Xilinx 7系列配置指南)
人间清醒863
博客等级 码龄3年 33粉丝 1544原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值