第8章 深度学习的优化方法与正则化

吴恩达深度学习第二课笔记——改善深层神经网络:超参数调试、正则化以及优化 文章目录第一周:深度学习的实践层面(Practical aspects of Deep Learning)1.1 训练,验证,测试集(Train / Dev / Test sets)1.2 偏差,方差(Bias /Variance)1.3 机器学习基础(Basic Recipe for Machine Learning)偏差高方差高同时减少方差和偏差1.4 正则化(Regularization)1... 阅读详情

第8章 深度学习的优化方法与正则化

前面章节我们学习了前馈神经网络、CNN、RNN、Transformer等核心深度学习模型,模型结构是基础,而高效的优化方法是让模型发挥性能的关键——深度学习的本质是通过优化算法调整模型参数,让损失函数最小化,从而让模型学到数据的规律。

和传统机器学习的凸优化不同,深度学习的损失函数是非凸函数,且模型参数维度极高(百万甚至上亿级),训练过程中还会面临梯度消失/爆炸、训练震荡、过拟合、收敛缓慢等问题,传统的梯度下降法已无法满足需求。

本章会从深度学习优化的特殊性出发,先讲解基础梯度下降的变体,再介绍工业界主流的进阶优化器,接着讲解学习率调度、训练稳定性提升的核心技巧,最后系统介绍深度学习的正则化方法,帮你掌握模型训练的核心实操能力——从参数初始化到优化器选择,再到过拟合抑制,形成完整的深度学习训练知识体系。

8.1 深度学习优化的特殊性:为什么需要专属方法?

深度学习的优化问题属于非凸高维优化,和线性回归、逻辑回归等传统凸优化问题有本质区别,这也是其训练难度远高于传统机器学习的核心原因,具体体现在4个方面:

8.1.1 损失函数是非凸的,存在大量局部最优和鞍点

  • 凸优化的损失函数只有一个全局最优解,梯度下降法能稳定收敛到全局最优;
  • 深度学习的损失函数是非凸函数,其“损失地形”像复杂的山地,不仅有大量局部最优解(小山峰),还有更多鞍点(鞍部,某个方向是极大值,另一个方向是极小值),梯度下降很容易陷入这些位置,无法达到真正的全局最优。

直观理解:凸优化的“地形”是一个碗,球从任意位置都会滚到碗底(全局最优);非凸优化的“地形”是布满小坑和鞍部的山地,球很容易卡在小坑(局部最优)或鞍部,无法滚到最低的山谷(全局最优)。

8.1.2 参数维度极高,梯度计算存在噪声

深度学习模型的参数维度通常在百万、千万甚至上亿级(比如Transformer有上亿参数),带来两个问题:

  1. 梯度计算成本高:全样本计算梯度的时间复杂度极高,无法满足大规模训练的需求;
  2. 梯度存在噪声:用小批量样本计算的梯度是“随机梯度”,并非真实的全样本梯度,会存在波动和噪声,导致训练过程震荡,收敛缓慢。

8.1.3 存在梯度消失/爆炸问题,训练不稳定

深层网络的梯度通过反向传播传递时,会因多层矩阵乘法产生累积效应:

  • 梯度消失:激活函数导数≤1(如Sigmoid、Tanh),多层相乘后梯度趋近于0,浅层参数无法更新;
  • 梯度爆炸:权重矩阵的特征值过大,多层相乘后梯度指数增长,导致参数更新溢出(NaN)。

这两个问题会直接导致模型无法训练,是深层网络优化的核心障碍。

8.1.4 训练目标与泛化目标的矛盾

深度学习的优化目标是最小化训练集的损失,但最终目标是让模型在未见过的测试集上有好的表现(泛化能力)——如果单纯追求训练损失最小,模型会过度拟合训练数据(死记硬背),出现过拟合问题,这就需要通过正则化在“训练拟合”和“泛化能力”之间找到平衡。

核心结论:深度学习的优化不是单纯的“求损失最小值”,而是在非凸、高维、有噪声的条件下,找到一个泛化能力好的参数解,需要结合优化算法、训练技巧、正则化方法三者协同。

8.2 基础梯度下降及其变体

梯度下降是所有深度学习优化算法的基础框架,其核心思想是:沿着损失函数的负梯度方向调整参数,逐步让损失函数减小,公式为:
θt+1=θt−α⋅∇θL(θt)\theta_{t+1} = \theta_t - \alpha \cdot \nabla_\theta \mathcal{L}(\theta_t)θt+1​=θt​−α⋅∇θ​L(θt​)
其中θ\thetaθ是模型参数,α\alphaα是学习率(步长,控制参数更新的幅度),∇θL\nabla_\theta \mathcal{L}∇θ​L是损失函数对参数的梯度。

根据计算梯度的样本量不同,梯度下降分为三种经典变体,三者的核心区别是“计算效率”和“梯度稳定性”的折中,其中小批量梯度下降是目前深度学习的基础优化框架,所有进阶优化器都基于此改进。

8.2.1 批量梯度下降(BGD):全样本计算梯度

  • 核心思路:用整个训练集的所有样本计算梯度,每次参数更新都基于全样本的真实梯度;
  • 公式:θt+1=θt−α⋅1N∑i=1N∇θL(θt;xi,yi)\theta_{t+1} = \theta_t - \alpha \cdot \frac{1}{N}\sum_{i=1}^N \nabla_\theta \mathcal{L}(\theta_t; x_i, y_i)θt+1​=θt​−α⋅N1​∑i=1N​∇θ​L(θt​;xi​,yi​)(NNN为训练集样本数);
  • 优点:梯度无噪声,稳定收敛,能收敛到全局最优(凸优化)或较好的局部最优(非凸优化);
  • 缺点:计算成本极高,每次更新都要遍历全样本,无法处理大规模数据集(如百万级样本),且无法并行计算。

适用场景:小数据集(样本数<1万)、传统机器学习模型(如线性回归),几乎不用于深度学习。

8.2.2 随机梯度下降(SGD):单样本计算梯度

  • 核心思路:用单个样本计算梯度,每次参数更新都基于随机的一个样本,大幅降低计算成本;
  • 公式:θt+1=θt−α⋅∇θL(θt;xi,yi)\theta_{t+1} = \theta_t - \alpha \cdot \nabla_\theta \mathcal{L}(\theta_t; x_i, y_i)θt+1​=θt​−α⋅∇θ​L(θt​;xi​,yi​)(iii为随机选择的样本);
  • 优点:计算速度极快,单样本梯度计算可并行,适合大规模数据集;
  • 缺点:梯度噪声极大,训练过程剧烈震荡,收敛缓慢,甚至无法收敛到稳定的最优解。

直观理解:SGD的参数更新像“醉汉走路”,虽然整体方向是向损失减小的方向,但每一步都有随机偏移,需要走很多步才能接近最优解。

8.2.3 小批量梯度下降(MBGD):折中方案,深度学习的基础

  • 核心思路:用一小批样本(batch size)计算梯度,兼顾BGD的稳定性和SGD的计算效率,是深度学习的默认梯度下降方式;
  • 公式:θt+1=θt−α⋅1B∑i=1B∇θL(θt;xi,yi)\theta_{t+1} = \theta_t - \alpha \cdot \frac{1}{B}\sum_{i=1}^B \nabla_\theta \mathcal{L}(\theta_t; x_i, y_i)θt+1​=θt​−α⋅B1​∑i=1B​∇θ​L(θt​;xi​,yi​)(BBB为批量大小,通常取2的幂次:32、64、128、256);
  • 优点:
    1. 梯度噪声适中,训练相对稳定,收敛速度远快于BGD;
    2. 小批量样本的矩阵运算可充分利用GPU的并行计算能力,大幅提升训练速度;
    3. 梯度的轻微噪声能帮助模型逃离局部最优解和鞍点,找到泛化能力更好的参数。
  • 缺点:需要手动调整批量大小(B) 和学习率(α) 两个超参数,批量大小不合适会导致训练不稳定。

批量大小的选择准则:

  • 小批量(B=32/64):梯度噪声稍大,收敛慢,但泛化能力通常更好;
  • 大批量(B=128/256):梯度噪声小,收敛快,但需要调大学习率,且容易过拟合;
  • 禁忌:批量大小不能超过训练集样本数,也不能取1(退化为SGD)。

8.2.4 三种梯度下降变体的对比

优化方法计算样本量梯度特点收敛速度计算效率适用场景
BGD全样本N无噪声,稳定慢极低小数据集、传统机器学习
SGD单样本1噪声极大,震荡极慢极高无,仅作为理论基础
MBGD小批量B噪声适中,较稳定快高所有深度学习场景,基础框架

8.3 进阶SGD优化器:解决收敛慢和训练震荡

小批量梯度下降(MBGD)解决了计算效率问题,但仍存在收敛缓慢、训练震荡、学习率难以调整的问题——固定的学习率无法适应复杂的损失地形,比如在平坦区域需要大学习率快速前进,在陡峭区域需要小学习率避免震荡。

研究者在MBGD的基础上提出了一系列进阶优化器,核心改进方向有两个:

  1. 加入动量(Momentum):模拟物理中的惯性,让参数更新“冲过”平坦区域和小的局部最优,减少震荡,加速收敛;
  2. 自适应学习率:根据参数的梯度历史,为每个参数分配不同的学习率,让梯度大的参数用小学习率,梯度小的参数用大学习率,自适应调整更新幅度。

以下是工业界最主流的5种进阶优化器,按发展顺序讲解,其中Adam是目前深度学习的默认优化器,兼顾性能和稳定性。

8.3.1 动量SGD(Momentum SGD):加入惯性,减少震荡

  • 核心思路:引入动量项,参数更新不仅依赖当前的负梯度,还依赖上一次的更新方向,模拟惯性——如果连续多步的梯度方向相同,动量会不断累积,让参数更新速度加快;如果梯度方向突变,动量会平滑突变,减少震荡。
  • 核心公式:
    1. 计算动量项(累积更新方向):vt=βvt−1+(1−β)∇θL(θt)v_t = \beta v_{t-1} + (1-\beta) \nabla_\theta \mathcal{L}(\theta_t)vt​=βvt−1​+(1−β)∇θ​L(θt​)
    2. 参数更新:θt+1=θt−α⋅vt\theta_{t+1} = \theta_t - \alpha \cdot v_tθt+1​=θt​−α⋅vt​
      其中β\betaβ是动量系数,经典值为0.9(表示累积90%的历史动量),vtv_tvt​是第t步的动量项,初始值为0。
  • 直观理解:动量SGD的参数更新像“小球滚下山坡”,在平坦区域(梯度小),惯性让小球保持速度前进;在陡峭区域(梯度大),小球速度加快;在转弯处(梯度方向突变),惯性让小球不会突然改变方向,减少震荡。
  • 优点:大幅减少训练震荡,加速收敛,能冲过浅的局部最优解;
  • 缺点:仍需要手动调整学习率,且动量系数β\betaβ是固定超参数。

8.3.2 Nesterov动量(NAG):带预判的动量,更精准

Nesterov动量是动量SGD的改进版,也叫带前瞻的动量,核心是先预判动量的更新方向,再计算梯度,让梯度计算更精准,避免“冲过头”。

  • 核心思路:先根据历史动量计算参数的预判位置,再在预判位置计算梯度,而非当前位置,让梯度更贴合真实的损失地形;
  • 核心公式:
    1. 计算预判位置:θtlookahead=θt−α⋅βvt−1\theta_t^{lookahead} = \theta_t - \alpha \cdot \beta v_{t-1}θtlookahead​=θt​−α⋅βvt−1​
    2. 计算预判位置的梯度:∇θL(θtlookahead)\nabla_\theta \mathcal{L}(\theta_t^{lookahead})∇θ​L(θtlookahead​)
    3. 更新动量项:vt=βvt−1+(1−β)∇θL(θtlookahead)v_t = \beta v_{t-1} + (1-\beta) \nabla_\theta \mathcal{L}(\theta_t^{lookahead})vt​=βvt−1​+(1−β)∇θ​L(θtlookahead​)
    4. 参数更新:θt+1=θt−α⋅vt\theta_{t+1} = \theta_t - \alpha \cdot v_tθt+1​=θt​−α⋅vt​
  • 优点:比普通动量SGD更精准,能提前调整更新方向,避免“冲过最优解”,收敛速度更快;
  • 缺点:计算量稍大,仍需要手动调整学习率。

动量SGD vs NAG:普通动量是“先算梯度,再靠惯性前进”;NAG是“先靠惯性预判位置,再算梯度调整方向”,后者更适合复杂的损失地形。

8.3.3 AdaGrad:自适应学习率,适合稀疏数据

AdaGrad是第一个自适应学习率的优化器,核心是为每个参数维护一个梯度平方累积项,梯度越大的参数,学习率越小;梯度越小的参数,学习率越大,实现“个性化”的参数更新。

  • 核心思路:针对稀疏数据(如文本数据,大部分词的出现频率为0,梯度为0),让稀疏特征的参数获得更大的学习率,加速其更新;
  • 核心公式:
    1. 累积梯度平方:Gt=Gt−1+∇θL(θt)⊙∇θL(θt)G_t = G_{t-1} + \nabla_\theta \mathcal{L}(\theta_t) \odot \nabla_\theta \mathcal{L}(\theta_t)Gt​=Gt−1​+∇θ​L(θt​)⊙∇θ​L(θt​)(⊙\odot⊙为元素级乘法)
    2. 参数更新:θt+1=θt−αGt+ϵ⊙∇θL(θt)\theta_{t+1} = \theta_t - \frac{\alpha}{\sqrt{G_t + \epsilon}} \odot \nabla_\theta \mathcal{L}(\theta_t)θt+1​=θt​−Gt​+ϵ​α​⊙∇θ​L(θt​)
      其中ϵ\epsilonϵ是极小值(经典值10−810^{-8}10−8),避免分母为0,GtG_tGt​是每个参数的梯度平方累积和。
  • 优点:无需手动调整学习率,对稀疏数据(文本、推荐系统)效果极佳;
  • 缺点:GtG_tGt​是单调递增的,学习率会不断衰减,最终趋近于0,导致模型提前停止收敛,无法训练到最优解。

适用场景:稀疏数据任务(如文本分类、命名实体识别、推荐系统),不适合深层网络(如CNN、Transformer)。

8.3.4 RMSprop:解决AdaGrad的学习率衰减问题

RMSprop是Hinton提出的AdaGrad的改进版,核心是将梯度平方累积改为梯度平方的指数移动平均,让GtG_tGt​能“忘记”遥远的历史梯度,避免学习率无限衰减,适合深层网络。

  • 核心思路:用指数移动平均替代单调累积,只保留近期的梯度平方信息,让学习率能自适应调整且不会趋近于0;
  • 核心公式:
    1. 梯度平方的指数移动平均:E[g2]t=βE[g2]t−1+(1−β)∇θL(θt)⊙∇θL(θt)E[g^2]_t = \beta E[g^2]_{t-1} + (1-\beta) \nabla_\theta \mathcal{L}(\theta_t) \odot \nabla_\theta \mathcal{L}(\theta_t)E[g2]t​=βE[g2]t−1​+(1−β)∇θ​L(θt​)⊙∇θ​L(θt​)(β\betaβ经典值0.9)
    2. 参数更新:θt+1=θt−αE[g2]t+ϵ⊙∇θL(θt)\theta_{t+1} = \theta_t - \frac{\alpha}{\sqrt{E[g^2]_t + \epsilon}} \odot \nabla_\theta \mathcal{L}(\theta_t)θt+1​=θt​−E[g2]t​+ϵ​α​⊙∇θ​L(θt​)
  • 优点:解决了AdaGrad的学习率衰减问题,自适应学习率,训练稳定,适合深层网络;
  • 缺点:仅考虑了梯度的平方,未考虑梯度的方向(无动量),收敛速度不如动量SGD。

8.3.5 Adam:动量+RMSprop,工业界默认选择

Adam(Adaptive Moment Estimation)是目前深度学习的主流优化器,核心是融合了动量SGD的“梯度方向累积”和RMSprop的“梯度平方指数移动平均”,同时为每个参数维护一阶动量(梯度方向) 和二阶动量(梯度大小),实现自适应学习率+惯性,兼顾收敛速度和稳定性。

  • 核心思路:既考虑梯度的方向(动量),又考虑梯度的大小(自适应学习率),是“动量SGD”和“RMSprop”的完美结合;
  • 核心公式:
    1. 一阶动量(梯度方向的指数移动平均,类似动量):mt=β1mt−1+(1−β1)∇θL(θt)m_t = \beta_1 m_{t-1} + (1-\beta_1) \nabla_\theta \mathcal{L}(\theta_t)mt​=β1​mt−1​+(1−β1​)∇θ​L(θt​)(β1\beta_1β1​经典值0.9)
    2. 二阶动量(梯度平方的指数移动平均,类似RMSprop):vt=β2vt−1+(1−β2)∇θL(θt)⊙∇θL(θt)v_t = \beta_2 v_{t-1} + (1-\beta_2) \nabla_\theta \mathcal{L}(\theta_t) \odot \nabla_\theta \mathcal{L}(\theta_t)vt​=β2​vt−1​+(1−β2​)∇θ​L(θt​)⊙∇θ​L(θt​)(β2\beta_2β2​经典值0.999)
    3. 偏差修正(解决初始值为0导致的偏置):m^t=mt1−β1t,v^t=vt1−β2t\hat{m}_t = \frac{m_t}{1-\beta_1^t}, \hat{v}_t = \frac{v_t}{1-\beta_2^t}m^t​=1−β1t​mt​​,v^t​=1−β2t​vt​​
    4. 参数更新:θt+1=θt−αv^t+ϵ⊙m^t\theta_{t+1} = \theta_t - \frac{\alpha}{\sqrt{\hat{v}_t} + \epsilon} \odot \hat{m}_tθt+1​=θt​−v^t​​+ϵα​⊙m^t​(ϵ\epsilonϵ经典值10−810^{-8}10−8)
  • 优点:
    1. 自适应学习率,无需手动调参,默认参数(β1=0.9,β2=0.999,α=0.001\beta_1=0.9, \beta_2=0.999, \alpha=0.001β1​=0.9,β2​=0.999,α=0.001)在绝大多数任务上都有效;
    2. 融合动量,收敛速度快,训练稳定,几乎无震荡;
    3. 适合所有深度学习模型(CNN、RNN、Transformer)和所有数据类型(图像、文本、语音)。
  • 缺点:在极少数大规模图像分类任务上,效果略逊于带余弦退火的SGD,但差距极小,且Adam的调参成本远低于SGD。

8.3.6 主流优化器的对比与选择准则

优化器核心特点收敛速度训练稳定性调参难度适用场景
纯MBGD固定学习率,无改进中中高(调α、B)理论基础,无实际应用
动量SGD加惯性,减少震荡快中中(调α、β、B)大规模图像分类,追求极致泛化
NAG带预判的动量,更精准更快中中复杂损失地形的深层网络
AdaGrad自适应学习率,稀疏数据友好中高低稀疏数据(文本、推荐)
RMSpropAdaGrad改进,无学习率衰减快高低(调α、β)深层网络(RNN/CNN)
Adam动量+RMSprop,自适应学习率极快极高极低(默认参数即可)所有深度学习场景,工业界默认

实用选择准则:

  1. 优先使用Adam,默认参数(α=0.001\alpha=0.001α=0.001)能覆盖90%以上的任务,省时省力;
  2. 若Adam效果不佳(如大规模图像分类),尝试带余弦退火的动量SGD,调大学习率(α=0.1\alpha=0.1α=0.1);
  3. 处理稀疏数据(如文本、推荐),可尝试AdaGrad/RMSprop。

8.4 学习率调度:超参数之王的动态调整

学习率(α\alphaα)是深度学习中最重要的超参数,被称为“超参数之王”——学习率过大,模型会在最优解附近剧烈震荡,甚至无法收敛;学习率过小,模型收敛极慢,甚至陷入局部最优。

固定学习率无法适应复杂的损失地形,因此需要学习率调度(Learning Rate Scheduling)——在训练过程中动态调整学习率,让模型在训练初期用大学习率快速前进,在训练后期用小学习率精细调整,收敛到更优的解。

以下是工业界最主流的5种学习率调度策略,可单独使用,也可组合使用(如预热+余弦退火,Transformer的经典策略)。

8.4.1 常数学习率:最简单的调度,几乎不用

  • 核心思路:训练过程中学习率保持固定不变(如α=0.001\alpha=0.001α=0.001);
  • 优点:简单,无额外超参数;
  • 缺点:无法适应损失地形,训练后期容易震荡,收敛效果差;
  • 适用场景:仅配合Adam使用(Adam的自适应学习率已弱化了固定学习率的问题),无其他调度策略时的兜底选择。

8.4.2 阶梯衰减(Step Decay):阶梯式降低学习率

  • 核心思路:训练到指定的epoch后,将学习率乘以衰减因子,阶梯式降低,比如每10个epoch,学习率乘以0.1;
  • 例子:初始α=0.1\alpha=0.1α=0.1,每10epoch×0.1,则10epoch后α=0.01\alpha=0.01α=0.01,20epoch后α=0.001\alpha=0.001α=0.001;
  • 优点:实现简单,效果比固定学习率好很多;
  • 缺点:衰减的epoch和衰减因子需要手动调参,且学习率突变可能导致训练震荡;
  • 适用场景:传统CNN模型(如AlexNet、ResNet)的SGD优化。

8.4.3 余弦退火(Cosine Annealing):目前最主流的调度

  • 核心思路:将学习率的变化模拟为余弦函数的一半,在一个训练周期(TmaxT_{max}Tmax​)内,学习率从初始值平滑下降到0,然后可选择重启(Restart),再次从初始值下降,形成周期性的余弦曲线;
  • 核心公式:αt=αmin+12(αmax−αmin)(1+cos⁡(tπTmax))\alpha_t = \alpha_{min} + \frac{1}{2}(\alpha_{max} - \alpha_{min})(1 + \cos(\frac{t\pi}{T_{max}}))αt​=αmin​+21​(αmax​−αmin​)(1+cos(Tmax​tπ​))
    其中αmax\alpha_{max}αmax​是初始学习率,αmin\alpha_{min}αmin​是最小学习率(通常为0),TmaxT_{max}Tmax​是一个周期的epoch数;
  • 优点:
    1. 学习率平滑下降,无突变,训练极其稳定;
    2. 学习率降到0后重启,能让模型逃离局部最优解,找到更优的参数;
    3. 几乎无需调参,仅需设置T_max;
  • 缺点:收敛速度比阶梯衰减稍慢,但泛化能力更好;
  • 适用场景:所有深度学习模型,尤其是配合SGD使用时,效果极佳(ResNet、ViT等模型的标配)。

8.4.4 预热(Warmup):解决训练初期的梯度震荡

  • 核心思路:训练前几个epoch,将学习率从0线性增加到初始值,然后再用其他调度策略(如余弦退火、阶梯衰减),称为“预热”;
  • 例子:预热5个epoch,初始α=0\alpha=0α=0,5epoch后线性增加到0.1,之后用余弦退火;
  • 核心作用:解决深层网络训练初期的梯度震荡问题(如Transformer、深层ResNet)——训练初期模型参数随机初始化,梯度较大,大学习率会导致参数更新溢出,预热让模型先“缓慢适应”数据,再快速训练;
  • 适用场景:深层网络(Transformer、ViT、ResNet-101/152),Transformer的标配调度策略;
  • 经典组合:Warmup + Cosine Annealing,目前深度学习的最优学习率调度组合,兼顾收敛速度和稳定性。

8.4.5 自适应学习率(ReduceLROnPlateau):根据验证损失调整

  • 核心思路:监控验证集的损失,如果验证损失连续多个epoch不再下降(高原期),则将学习率乘以衰减因子,自动降低学习率;
  • 优点:无需手动设置衰减epoch,根据模型的实际训练效果自适应调整,更智能;
  • 缺点:需要设置监控指标(验证损失)和耐心值(patience,连续多少epoch不下降则衰减),且验证集的噪声可能导致误判;
  • 适用场景:所有场景,尤其是不确定衰减epoch时,可作为兜底选择。

8.4.6 学习率调度的实用组合策略

  1. Adam + 常数学习率:90%的小任务(如小数据集分类、简单回归)的最优选择,调参成本为0;
  2. SGD + 余弦退火:大规模图像分类的经典选择,追求极致泛化能力;
  3. Adam/SGD + Warmup + 余弦退火:深层网络(Transformer、ViT、深层RNN)的标配,解决训练初期震荡,兼顾收敛速度和稳定性;
  4. 任意优化器 + ReduceLROnPlateau:不确定调度策略时的兜底选择,自适应调整。

8.5 训练稳定性提升技巧:解决梯度消失/爆炸

即使选择了最优的优化器和学习率调度,深层网络的训练仍可能因梯度消失/爆炸、参数初始化不当、输入分布漂移等问题导致不稳定,甚至无法训练。

以下是工业界最核心的4种训练稳定性提升技巧,这些技巧是深层网络能成功训练的工程基础,几乎所有深度学习模型(CNN、RNN、Transformer)都会用到。

8.5.1 权重初始化:让梯度从训练开始就稳定

权重初始化是模型训练的第一步,如果参数初始值过大,会导致输入经过多层后激活值饱和(梯度消失);如果初始值过小,会导致梯度过小,参数更新缓慢。

核心原则:让每一层的输入和输出的方差保持一致,避免方差随层数增加而放大或缩小,目前主流的初始化方法有两种:

  1. Xavier初始化(高斯/均匀):适合Sigmoid/Tanh等饱和激活函数,让每一层的输入和输出方差一致;
  2. He初始化(高斯/均匀):适合ReLU/Leaky ReLU等非饱和激活函数,是目前深度学习的默认初始化方法,专门针对ReLU的“负半轴输出为0”的特点设计,让方差更稳定。

实用准则:所有使用ReLU/Leaky ReLU的模型(CNN、RNN、Transformer),均使用He初始化,无需手动调参,框架(PyTorch/TensorFlow)会默认实现。

8.5.2 归一化方法:解决输入分布漂移问题

内部协变量偏移(ICS):深层网络训练过程中,每一层的输入分布会因前一层的参数更新而不断漂移,导致后一层需要不断适应新的分布,训练收敛缓慢,甚至梯度消失。

归一化方法的核心是:对每一层的输入进行标准化处理(均值为0,方差为1),让输入分布保持稳定,解决内部协变量偏移,同时加速收敛,缓解梯度消失。

目前工业界主流的归一化方法有3种,分别适用于不同的模型和任务,BatchNorm和LayerNorm是最常用的两种。

归一化方法归一化维度核心特点适用场景
批量归一化(BatchNorm)批量维度(同一批次的所有样本)加速收敛,缓解梯度消失,有轻微正则化效果CNN模型(图像分类、检测),小批量训练
层归一化(LayerNorm)特征维度(单个样本的所有特征)不依赖批量大小,训练稳定RNN/LSTM/GRU、Transformer(时序/文本数据)
实例归一化(InstanceNorm)实例维度(单个样本的单个通道)保持样本的风格特征图像风格迁移、生成模型(GAN)

核心区别:

  • BatchNorm依赖批量大小,批量过小会导致归一化效果差,因此适合CNN(通常用大批次);
  • LayerNorm不依赖批量大小,即使批量为1也能正常工作,因此适合时序/文本数据(RNN/Transformer),这类任务的样本长度可能不同,批量大小通常较小。

实用准则:

  1. CNN用BatchNorm,加在卷积层后、激活函数前;
  2. RNN/Transformer用LayerNorm,加在注意力层/前馈层后、残差连接前(Pre-Norm结构);
  3. 生成模型(GAN)用InstanceNorm。

8.5.3 梯度裁剪(Gradient Clipping):解决梯度爆炸

梯度裁剪是解决梯度爆炸的直接方法,核心是:当梯度的模超过设定的阈值时,对梯度进行缩放,让梯度的模保持在阈值内,避免参数更新溢出(NaN)。

  • 核心步骤:
    1. 计算所有参数的梯度的L2模:norm=∥∇θL∥2norm = \|\nabla_\theta \mathcal{L}\|_2norm=∥∇θ​L∥2​;
    2. 如果norm>thresholdnorm > thresholdnorm>threshold(阈值,通常取5.0),则缩放梯度:∇θL=∇θL×thresholdnorm\nabla_\theta \mathcal{L} = \nabla_\theta \mathcal{L} \times \frac{threshold}{norm}∇θ​L=∇θ​L×normthreshold​;
    3. 用缩放后的梯度更新参数。
  • 优点:实现简单,能直接解决梯度爆炸问题,让训练恢复稳定;
  • 适用场景:RNN/LSTM/GRU(极易出现梯度爆炸)、Transformer(深层网络),是这类模型的标配技巧。

8.5.4 残差连接(Residual Connection):解决深层网络的梯度消失

残差连接是ResNet提出的核心技巧,也是深层网络(百层/千层)能成功训练的关键,核心是:为网络层加入直连边,让输入直接加到输出上,让模型学习“残差”而非原始映射,大幅缓解梯度消失。

  • 核心公式:y=f(x;θ)+xy = f(x; \theta) + xy=f(x;θ)+x,其中xxx是层的输入,f(x;θ)f(x; \theta)f(x;θ)是层的非线性输出(残差函数),yyy是层的输出;
  • 梯度传递优势:反向传播时,梯度可以通过直连边直接传递到浅层,无需经过多层非线性变换,避免梯度衰减为0;
  • 直观理解:如果深层网络的某一层没有学习到有用的特征,残差连接能让该层“退化为恒等映射”(f(x;θ)=0f(x; \theta)=0f(x;θ)=0,y=xy=xy=x),避免深层网络的性能下降;
  • 适用场景:所有深层网络(ResNet、Transformer、ViT),目前几乎所有深度学习模型都加入了残差连接。

8.6 深度学习的正则化方法:防止过拟合

深度学习模型的参数数量远大于训练集样本数,极易出现过拟合——训练集损失极低,测试集损失极高,模型死记硬背训练数据,无法泛化到未见过的样本。

正则化的核心思想是:在损失函数中加入惩罚项,或通过工程手段限制模型的复杂度,让模型“简单化”,在“训练拟合”和“泛化能力”之间找到平衡,核心准则是:简单的模型泛化能力更强。

以下是工业界最主流的6种正则化方法,分为传统正则化和深度学习专属正则化,可组合使用(如Dropout+L2+数据增强,几乎所有模型的标配)。

8.6.1 L1/L2正则化:传统正则化,参数惩罚

L1和L2正则化是最经典的正则化方法,核心是在损失函数中加入参数的范数惩罚项,限制参数的大小,避免模型过度拟合训练数据。

  • 带正则化的损失函数:Lreg=L(θ)+λ⋅R(θ)\mathcal{L}_{reg} = \mathcal{L}(\theta) + \lambda \cdot R(\theta)Lreg​=L(θ)+λ⋅R(θ),其中L(θ)\mathcal{L}(\theta)L(θ)是原始损失,R(θ)R(\theta)R(θ)是正则化项,λ\lambdaλ是正则化系数(控制惩罚强度,越大惩罚越重);
  • L2正则化(权重衰减):R(θ)=12∥θ∥22=12∑iθi2R(\theta) = \frac{1}{2}\|\theta\|_2^2 = \frac{1}{2}\sum_{i} \theta_i^2R(θ)=21​∥θ∥22​=21​∑i​θi2​,惩罚参数的平方和,让参数尽可能小,趋近于0;
  • L1正则化:R(θ)=∥θ∥1=∑i∣θi∣R(\theta) = \|\theta\|_1 = \sum_{i} |\theta_i|R(θ)=∥θ∥1​=∑i​∣θi​∣,惩罚参数的绝对值和,让部分参数直接变为0,实现特征选择;
  • 核心区别:
    1. L2正则化让参数“小而不为0”,模型更平滑,泛化能力更强;
    2. L1正则化让参数“稀疏化”(部分为0),适合特征维度极高的场景(如文本);
  • 实用准则:
    1. 深度学习中优先使用L2正则化,也叫权重衰减(Weight Decay),是所有模型的标配;
    2. L1正则化仅用于特征稀疏的场景(如文本、推荐系统);
    3. 正则化系数λ\lambdaλ通常取10−4∼10−210^{-4} \sim 10^{-2}10−4∼10−2,过小无正则化效果,过大导致欠拟合。

8.6.2 Dropout:深度学习专属,随机丢弃神经元

Dropout是深度学习中最常用的正则化方法,由Hinton提出,核心是:训练过程中,随机将一部分神经元的输出置为0(丢弃),测试过程中恢复所有神经元,模拟“集成学习”,让模型不依赖于某几个神经元,提升泛化能力。

  • 核心步骤:
    1. 训练时,对某一层的输出aaa,生成一个0-1的掩码mmm,掩码中1的比例为ppp(保留概率,经典值0.5),0的比例为1−p1-p1−p;
    2. 丢弃后的输出:a′=a⊙ma' = a \odot ma′=a⊙m;
    3. 测试时,不丢弃神经元,将输出乘以ppp(或训练时对输出除以ppp),保证训练和测试的输出分布一致;
  • 直观理解:Dropout让模型在训练时“随机变浅”,每次训练都是一个不同的子模型,测试时相当于多个子模型的“集成”,集成学习能大幅提升泛化能力;
  • 优点:实现简单,正则化效果极强,几乎无额外计算成本;
  • 适用场景:所有深度学习模型,前馈网络、CNN、RNN、Transformer均适用;
  • 实用准则:
    1. 隐藏层的保留概率ppp取0.5,输入层取0.8;
    2. 测试时必须关闭Dropout,否则会导致预测结果不稳定。

Dropout的变体:

  • DropConnect:随机丢弃神经元之间的连接,而非神经元本身,正则化效果更强,但计算量稍大;
  • Spatial Dropout:针对CNN的空间维度随机丢弃,避免同一位置的所有通道被丢弃,适合CNN。

8.6.3 数据增强:扩充样本,从源头防止过拟合

数据增强是最有效的正则化方法之一,核心是:对训练集样本进行随机的变换,生成大量的“虚拟样本”,扩充训练集的规模,让模型学习到更通用的特征,而非训练样本的细节。

数据增强的关键是:变换后的样本仍保留原始样本的标签信息,比如对猫的图片进行平移、旋转,变换后还是猫。

不同数据类型的主流数据增强方法:

  1. 图像数据(CNN/ViT):随机平移、旋转、翻转、裁剪、缩放、亮度/对比度调整、随机擦除(CutOut);
  2. 文本数据(RNN/Transformer):随机替换同义词、随机删除词、随机交换词的位置、回译(中文→英文→中文);
  3. 语音数据:随机加噪声、随机调整语速、随机裁剪。

优点:从源头扩充样本,正则化效果极强,还能提升模型的鲁棒性(如识别模糊、旋转的图片);
缺点:需要根据数据类型设计专属的变换方法,部分变换(如文本回译)有计算成本;
实用准则:所有深度学习任务都必须使用数据增强,这是防止过拟合的第一道防线。

8.6.4 早停(Early Stopping):及时停止,避免过度训练

早停是最简单的正则化方法,核心是:监控验证集的损失,当验证集损失连续多个epoch不再下降时,提前停止训练,避免模型在训练集上过度拟合。

  • 核心步骤:
    1. 训练过程中,每个epoch结束后,在验证集上评估模型,记录验证损失;
    2. 如果验证损失连续kkk个epoch(耐心值,通常取5~10)不再下降,且模型性能不再提升,则停止训练;
    3. 保存验证集性能最好的模型参数,作为最终模型;
  • 优点:实现简单,无额外计算成本,能有效避免过度训练;
  • 缺点:需要划分验证集,且耐心值需要手动调整;
  • 实用准则:所有深度学习任务都必须使用早停,是防止过拟合的最后一道防线。

8.6.5 标签平滑(Label Smoothing):缓解模型的过自信

标签平滑是针对分类任务的正则化方法,核心是:将真实的独热标签(0/1)进行轻微的平滑,让标签不再是绝对的0或1,缓解模型的“过自信”,让模型学习到更平滑的特征,提升泛化能力。

  • 核心公式:真实标签yyy(独热向量)→ 平滑标签y′=(1−ϵ)y+ϵCy' = (1-\epsilon)y + \frac{\epsilon}{C}y′=(1−ϵ)y+Cϵ​,其中ϵ\epsilonϵ是平滑系数(经典值0.1),CCC是类别数;
  • 例子:二分类任务,真实标签[1,0][1,0][1,0],平滑后为[0.9,0.1][0.9, 0.1][0.9,0.1];
  • 优点:能有效缓解模型的过自信,提升分类任务的泛化能力,尤其适合大规模分类任务;
  • 适用场景:分类任务(图像分类、文本分类、命名实体识别),Transformer的标配正则化方法;
  • 缺点:对回归任务无效。

8.6.6 集成学习:多个模型融合,提升泛化能力

集成学习是提升模型泛化能力的终极方法,核心是:训练多个不同的模型,将它们的预测结果融合(投票/平均),得到最终的预测结果,利用“众智”提升性能,大幅降低过拟合风险。

深度学习中主流的集成方法:

  1. 模型平均:训练多个结构相同但初始化不同的模型,预测时对输出取平均;
  2. Bagging:对训练集进行随机采样(有放回),训练多个模型,预测时投票;
  3. 融合不同结构的模型:如CNN+Transformer的预测结果融合。

优点:泛化能力提升效果最显著,是竞赛(如Kaggle)中夺冠的标配方法;
缺点:训练和推理成本极高(训练N个模型,推理时运行N个模型);
实用准则:普通任务无需使用,仅用于追求极致性能的竞赛或工业界核心任务。

8.6.7 正则化方法的组合使用准则

深度学习中,单一正则化方法的效果有限,通常需要组合使用,以下是工业界通用的组合策略,能覆盖99%的任务:

  1. 基础组合:L2正则化(权重衰减)+ 数据增强 + 早停 → 所有任务的标配,无额外成本;
  2. 进阶组合:基础组合 + Dropout → 适合参数较多的深层网络;
  3. 分类任务专属:进阶组合 + 标签平滑 → 适合图像/文本分类、Transformer;
  4. 竞赛组合:上述组合 + 集成学习 → 追求极致性能。

8.7 优化效果的评估与常见问题排查

训练深度学习模型时,不能盲目训练,需要实时评估优化效果,并根据训练曲线及时排查问题,否则会浪费大量的计算资源,甚至训练出无效的模型。

8.7.1 训练曲线分析:判断优化效果的核心依据

训练曲线是模型训练过程中,训练集/验证集的损失和性能指标(如准确率)随epoch变化的曲线,是判断优化效果的核心依据,通过分析训练曲线,能快速判断模型是欠拟合、过拟合还是训练正常。

三种典型的训练曲线及判断
  1. 训练正常:
    • 训练损失持续下降,最终趋于平稳;
    • 验证损失先下降,后趋于平稳,且训练损失和验证损失的差距较小;
    • 训练/验证的性能指标先上升,后趋于平稳,差距较小。
  2. 欠拟合(模型太简单):
    • 训练损失和验证损失都很高,且不再下降;
    • 训练/验证的性能指标都很低,且不再提升;
    • 原因:模型结构太简单,无法学到数据的规律;正则化惩罚过重。
  3. 过拟合(模型太复杂):
    • 训练损失持续下降,最终极低;
    • 验证损失先下降,后上升;
    • 训练性能指标持续上升,最终极高,验证性能指标先上升,后下降;
    • 原因:模型结构太复杂,参数过多;训练集样本过少;正则化不足。

8.7.2 常见训练问题的排查与解决方法

深度学习训练中最常见的问题有梯度消失/爆炸、欠拟合、过拟合、训练不收敛,以下是各问题的现象、原因和解决方法,形成完整的排查体系。

问题典型现象核心原因解决方法
梯度消失训练损失下降极慢,浅层参数梯度接近0激活函数饱和(Sigmoid)、网络过深、初始化不当1. 改用ReLU/Leaky ReLU;2. 加入残差连接;3. 使用He初始化;4. 加入LayerNorm/BatchNorm
梯度爆炸训练损失突然变为NaN,参数更新溢出权重初始化过大、RNN/Transformer深层网络1. 梯度裁剪;2. 使用He/Xavier初始化;3. 加入LayerNorm
欠拟合训练/验证损失都高,性能都低模型结构简单、正则化过重、训练轮数不足1. 加深/加宽模型;2. 减小正则化系数(λ);3. 关闭部分正则化(如Dropout);4. 增加训练轮数
过拟合训练损失低,验证损失高,性能差距大模型复杂、样本少、正则化不足1. 加入/增强正则化(Dropout/数据增强/L2);2. 减小模型规模;3. 扩充训练样本;4. 早停
训练不收敛训练损失一直很高,无下降趋势学习率过大/过小、优化器选择不当、参数初始化不当1. 调整学习率(Adam用0.001,SGD用0.1);2. 改用Adam优化器;3. 使用He/Xavier初始化;4. 检查数据预处理是否正确

8.7.3 深度学习的调参实战准则

深度学习的训练是调参的艺术,面对一个新任务,无需盲目试参,遵循以下从粗到细的调参准则,能大幅提升调参效率:

  1. 第一步:确定基础框架:选择Adam优化器(默认参数0.001)+ 小批量(32/64)+ He初始化 + 基础正则化(L2+数据增强+早停);
  2. 第二步:验证模型是否能拟合:训练少量epoch(5~10),观察训练损失是否下降——若不下降,调整学习率/优化器;若下降,继续;
  3. 第三步:判断欠拟合/过拟合:训练至收敛,根据训练曲线判断——欠拟合则加深模型,过拟合则增强正则化;
  4. 第四步:精细调优:调整学习率调度(如加入Warmup+余弦退火)、批量大小、正则化系数,提升模型性能;
  5. 第五步:极致优化:仅用于竞赛/核心任务,使用集成学习、模型融合。

核心原则:先让模型能训练,再让模型拟合,最后让模型泛化,从粗到细,逐步调优。

8.8 总结

深度学习的优化不是单纯的“求解损失最小值”,而是在非凸、高维、有噪声的条件下,找到一个泛化能力好的参数解,是优化算法、训练技巧、正则化方法三者的协同作用,也是深度学习从“理论”到“实践”的核心桥梁。

核心要点

  1. 深度学习优化的特殊性是非凸、高维、梯度噪声、训练与泛化的矛盾,这是需要专属优化方法的根本原因;
  2. 小批量梯度下降(MBGD) 是所有进阶优化器的基础,Adam是目前工业界的默认优化器,默认参数能覆盖绝大多数任务;
  3. 学习率是“超参数之王”,Warmup + 余弦退火是深层网络的标配调度策略,兼顾收敛速度和稳定性;
  4. 训练稳定性的核心技巧是He初始化、BatchNorm/LayerNorm、梯度裁剪、残差连接,这是深层网络能成功训练的工程基础;
  5. 防止过拟合的核心是正则化,工业界通用组合是L2正则化+数据增强+早停+Dropout,分类任务可加入标签平滑;
  6. 训练曲线是评估优化效果的核心依据,需根据曲线及时排查梯度消失/爆炸、欠拟合/过拟合等问题,调参遵循“从粗到细”的准则。

深入阅读推荐

  • 想掌握优化算法理论:《Deep Learning》(Goodfellow等)第8章(优化方法);
  • 想学习实用调参技巧:《Hands-On Machine Learning with Scikit-Learn, Keras & TensorFlow》(Géron)第11章;
  • 想了解归一化/残差连接:BatchNorm论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》、ResNet论文《Deep Residual Learning for Image Recognition》;
  • 想学习正则化:Dropout论文《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》;
  • 想实践调参:PyTorch/TensorFlow官方教程、Kaggle竞赛的开源代码(学习大神的调参策略)。
深度学习中的正则化方法(Regularization) 从而降低对输入或者参数的敏感性,避免过拟合,提高模型的泛化能力。数据增强(Data Augmentation)通过对样本集的操作增加数据量(相当于对样本集加入随机噪声),提高模型鲁棒性,避免过拟合。测试时使用完整的网络,并且按照丢弃概率对各个模块的输出进行加权。这是一种Hard Target,若样本标签是错误的,会导致严重的过拟合。一种更好的做法是按照类别相关性赋予其他标签不同的概率。,因此也称为**权重衰减(Weight Decay)**正则化。,从而降低模型对输入扰动的敏感性,增强模型的泛化能力。 阅读详情

相关推荐

Abaqus梁模型仿真中的常见陷阱与优化策略

本文深入探讨了Abaqus梁模型仿真中的常见陷阱与优化策略,涵盖几何建模、材料属性设置、边界条件处理等关键环节。针对梁截面方向定义、网格划分、复合截面建模等典型问题,提供了实用的Python脚本示例和优化方案,帮助工程师避免计算错误并提升仿真精度。文章特别强调了动力分析中的网格密度要求和材料非线性考虑,为复杂工程应用提供专业指导。

weixin_29099217的博客 462

深度学习笔记(8)——正则化和优化

正则化和优化

m0_74259787的博客 1488

华为防火墙主备模式工作原理

防火墙主备模式下,备墙的工作状态

weixin_67050107的博客 2141

深度学习 Deep Learning 第7章 深度学习的正则化

正则化是深度学习中平衡模型容量与泛化能力的“艺术”。从简单的权重惩罚到复杂的流形约束,其本质均是通过引入先验知识或数据分布假设,引导模型学习更鲁棒的特征表示。实践中需根据任务特性灵活选择,并结合领域知识设计定制化策略,方能在过拟合与欠拟合间找到最优平衡。本章全面介绍了深度学习中的正则化技术,从参数范数惩罚到数据增强,再到噪声注入、早停、参数共享、稀疏表示、集成方法和Dropout等,展示了如何通过这些方法提高模型的泛化能力和鲁棒性。

智能化技术分享 1235

【Anaconda】解决“libGL error: MESA-LOADER: failed to open iris”问题

stackoverflow中的“libGL error: MESA-LOADER: failed to open iris”问题。而在自己创建的conda环境中的lib下出现`GLIBCXX_3.4.30’ not found 的情况。在上述解决方案中,将第一行命令的lib路径换成自己创建的conda环境lib路径,运行指令,问题解决。目前问题解决,总结一下查找资料以及解决方法。运行如下命令,发现本地支持。

quintus0505的博客 5026

国密https握手协议抓包及流程详解

使用的密码套件清单-Cipher Suite,这里服务器端选择了ECC_SM4_CBC_SM3密码套件,也就是SM2公钥算法、SM4-CBC分组密码算法和SM3杂凑算法。具体来说,这里SM2算法密钥交换算法,SM4是加密算法(SM4-CBC)、SM3是校验算法(国标要求为HMAC-SM3)。服务器的加密证书:加密证书中在同样在扩展字段中KeyUsage标识出KeyEncipherment为true和dataEncipherment为true,即数字证书中包含的公钥可用来做密钥加密密钥和数据密钥。

ryanzzzzz的博客 5851

深度学习中常见概念(收敛、优化器、学习率、正则化、权重衰退等)

选择最优学习率是很重要的,因为它决定了神经网络是否可以收敛到全局最小值。选择较高的学习率,它可能在你的损失函数上带来不理想的后果,因此几乎从来不能到达全局最小值,因为你很可能跳过它。所以,你总是在全局最小值附近,但是从未收敛到全局最小值。选择较小的学习率有助于神经网络收敛到全局最小值,但是会花费很多时间——因为你在网络的权重上只做了很少的调整。这样你必须用更多的时间来训练神经网络。

githubcurry,985cs博士在读 1万+

深入C6678启动流程:从BootRom参数表到多核镜像部署的完整解析

本文深入解析TMS320C6678 DSP的启动流程,从BootRom参数表到多核镜像部署的全过程。详细介绍了七种启动模式的工程选择、多核镜像构建技巧以及二级引导策略,帮助开发者掌握C6678的启动机制与调试方法,提升嵌入式系统开发效率。

weixin_30505225的博客 614

深度学习的正则化

目录深度学习的正则化L1与L2正则化Dropout正则化提前停止批标准化总结 深度学习的正则化 学习目标 知道L2正则化与L1正则化的方法 知道随机失活droupout的应用 知道提前停止的使用方法 知道BN层的使用方法 在设计机器学习算法时不仅要求在训练集上误差小,而且希望在新样本上的泛化能力强。许多机器学习算法都采用相关的策略来减小测试误差,这些策略被统称为正则化。因为神经网络的强大的表示能力经常遇到过拟合,所以需要使用不同形式的正则化策略。 正则化通过对算法的修改来减少泛化误差,目前在深度学习中

最白の白菜的博客 3985

Arduino Nano + MCP3422A0 ADC 毫欧表:3档分辨率(0.1mΩ-1.3kΩ)开尔文连接实测

本文详细介绍了如何使用Arduino Nano与MCP3422A0 ADC构建高精度毫欧表,采用四线制开尔文连接和三档量程设计,实现0.1mΩ-1.3kΩ的精确测量。通过精密恒流源和18位ADC技术,结合智能量程切换和数字滤波算法,显著提升测量精度和稳定性,适用于电子维修、PCB测试等场景。

weixin_28292761的博客 325

广联达Linkworks ArchiveWebService XML实体注入漏洞复现

广联达 LinkWorks /GB/LK/Document/ArchiveService/ArchiveWebService.asmx接口处存在XML实体注入漏洞,未经身份认证的攻击者可以利用此漏洞读取系统内部敏感文件,获取敏感信息,使系统处于极不安全的状态。

0xSec 2723

深度学习之 8 深度模型优化与正则化

深度模型优化与正则化

水w的博客 1423

AI应用质量工程实践:从评估到监控的完整体系构建

在软件工程领域,质量保障体系是确保产品稳定可靠的核心机制,涉及度量指标、保障流程和工具链的完整闭环。随着生成式AI应用的快速发展,如何将传统软件工程中的质量门禁思想引入AI领域,成为工程实践的关键挑战。其核心原理在于构建可量化、可监控、可改进的质量评估框架,通过自动化测试、持续监控和反馈优化来管理AI输出的不确定性。这一技术价值在于将AI应用从原型阶段推向产品化,确保输出的一致性、安全性和可靠性。在实际应用场景中,开发者需要从功能性、非功能性、一致性和合规性四个维度构建评估体系,并借助LLM-as-a-Ju

weixin_28728279的博客 294

网络优化与正则化解析:深度学习模型性能提升的双重引擎

在深度学习领域,我们常常面临两个核心挑战:**模型优化困难**和**过拟合问题**。网络优化算法决定了模型如何从数据中学习,而正则化技术则控制着模型的复杂度,防止其在训练数据上表现过好而在测试数据上表现糟糕。本文将深入解析这两大技术体系,并通过Python实现展示其实际应用。

闲人编程的博客 1440

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

深度学习之 8 深度模型优化与正则化2

深度模型优化与正则化2

水w的博客 3252

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

第7章 网络优化与正则化

结构差异大,没有通用的优化算法,超参数多对于非凸优化问题,要解决参数初始化,以及结果逃离局部最优或鞍点的问题解决梯度爆炸或梯度消失问题。

qq_40940944的博客 932

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

【深度学习】神经网络优化方法 正则化方法 价格分类案例

​ 梯度下降法是一种寻找损失函数最小的方法,从数学上的角度来看,梯度的方向是函数增长速度最快的方向,那么梯度的反方向就是函数减少最快的方向,所以有:其中,η是学习率,如果学习率太小,那么每次训练之后得到的效果都太小,增大训练的时间成本。如果,学习率太大,那就有可能直接跳过最优解,进入无限的训练中。解决的方法就是,学习率也需要随着训练的进行而变化。

weixin_57336987的博客 1056

深度学习 | 训练及优化方法

训练及优化方法深度网络优化方法优化及调试策略:实践流程梯度消失与梯度爆炸Sigmoid 激活函数问题ReLU参数初始化学习率迭代次数batch sizeBatch 方差与 learning rate 关系Large-batch 魔咒正则化正则化技术概述数据增强技术数据集规范化目标函数及正则化 深度网络优化方法 优化及调试策略:实践流程 确定目标:误差度量及期望目标 建立端到端流程: 数据读取、预...

Joselynzhao 7601

【学习笔记】深度学习网络-正则化方法

正则化技术在深度学习中扮演着至关重要的角色,通过防止过拟合,提升模型的泛化能力。本文介绍了多种常见的正则化方法,包括L1和L2正则化、Dropout、数据增强、早停、Batch Normalization、权重衰减、梯度惩罚和特征选择等。这些方法通过不同的机制来限制模型的复杂度,从而提高模型在未知数据上的表现。在实际应用中,可以根据具体问题和数据集的特点选择合适的正则化技术和参数设置。通过对正则化方法的深入理解和合理应用,可以显著提高深度学习模型的性能和泛化能力,为深度学习的发展提供新的动力。

u011376987的博客 1286

深度学习 Deep Learning 第8章 深度学习优化

本章全面介绍了深度学习中的优化技术,从基本的随机梯度下降到高级的自适应学习率算法和近似二阶方法。通过理解这些优化算法的原理和应用场景,读者能够更好地选择和应用合适的优化方法,提高深度学习模型的训练效率和性能。这些内容为深入研究深度学习算法的优化和应用提供了坚实的理论基础。深度模型优化是平衡计算效率、数值稳定性与泛化能力的艺术。自适应方法(如Adam)凭借对病态条件与噪声的鲁棒性成为主流,而二阶方法受限于计算开销。

智能化技术分享 1297

一文概览深度学习中的五大正则化方法和七大优化策略

深度学习中的正则化与优化策略一直是非常重要的部分,它们很大程度上决定了模型的泛化与收敛等性能。本文主要以深度卷积网络为例,探讨了深度学习中的五项正则化与七项优化策略,并重点解释了当前最为流行的 Adam 优化算法。本文主体介绍和简要分析基于南洋理工的概述论文,而 Adam 方法的具体介绍基于 14 年的 Adam 论文。 近来在深度学习中,卷积神经网络和循环神经网络等深度模型在各种复杂的任务中...

上帝是个娘们的博客 476

深度学习:深度学习中的正则化

正则化(Regularization)作为抑制过拟合的手段,是机器学习和深度学习之中必不可少的环节,具有举足轻重的地位。好的机器学习算法不仅要在训练集上表现出色,当推广到未知的测试数据时,其优良的性能依然能够得以保持。正则化就是一类通过显式设计降低泛化误差,以提升算法通用性的策略的统称。由于深度学习中涉及的参数众多,正则化就变得尤为重要。正则化被定义为对学习算法的修改,这些修改的目的在于减少泛化误差。通常说来,泛化误差的下降是以训练误差的上升为代价的,但有些算法也能兼顾泛化误差和训练误差的良好性能。正则化处

qq_44703968的博客 1967

5 深度学习正则化

在设计机器学习算法时不仅要求在训练集上误差小,而且希望在新样本上的泛化能力强。许多机器学习算法都采用相关的策略来减小测试误差,这些策略被统称为正则化。因为神经网络的强大的表示能力经常遇到过拟合,所以需要使用不同形式的正则化策略。正则化通过对算法的修改来减少泛化误差,目前在深度学习中使用较多的策略有参数范数惩罚,提前终止,DropOut等,接下来我们对其进行详细的介绍。

qq_65321713的博客 924

深度学习入门 (七):正则化、超参数的验证、端到端的深度学习

正则化、超参数的验证、端到端的深度学习

连理o的博客 2061

【深度学习】正则化(regularization)

【深度学习】正则化(regularization)

JNing 9458
上一篇: 【回归算法】Ridge回归详解
下一篇: 第9章 深度学习的生成模型
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值