深度学习教程(7) | 网络优化:超参数调优、正则化、批归一化和程序框架(吴恩达·完整版)

批归一化(Batch Normalization)详解 批归一化(Batch Normalization)详解 文章目录批归一化(Batch Normalization)详解前言一、数据归一化二、BN解决的问题:Internal Covariate Shift三、BN如何做的数据归一化四、BN的本质总结 前言 批归一化简称BN,是由Google于2015年提出,这是一个深度神经网络训练的技巧,它不仅可以加快了模型的收敛速度,而且更重要的是在一定程度缓解了深层网络中“梯度弥散(特征分布较散)”的问题,从而使得训练深层网络模型更加容易和稳定。所以目前BN已经成为几 阅读详情


第2门课 改善深层神经网络:超参数调试、正则化以及优化,第3周:超参数调试,batch正则化和程序框架

本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得,对应的课程视频可以在这里查看。

引言

在ShowMeAI前一篇文章 神经网络优化算法 中我们对以下内容进行了介绍:

  • batch/mini-batch/ Stochastic gradient descent
  • 指数加权平均(Exponentially weighted averages)和偏移校正(bias correction)
  • 动量梯度下降、RMSprop和Adam算法
  • 学习率衰减法
  • 局部最优的概念及结论

本篇我们将重点展开介绍超参数调试、BN(Batch Normalization批归一化)和深度学习编程框架三个部分的内容。

1.超参数调试处理

调试处理 Tuning Process

深度神经网络需要调试的超参数(Hyperparameters)较多,我们来看看如何对其调试。

1.1 重要程度排序

吴恩达老师前面讲到过的超参数中,重要程度依次是(仅供参考):

超参数调试处理

最重要:

  • 学习率 α \alpha α

其次重要:

  • β \beta β:动量衰减参数,常设置为 0.9
  • n [ l ] n^{[l]} n[l]:各隐藏层神经元个数(#hidden units)
  • Mini-Batch 的大小

再次重要:

  • β 1 \beta_1 β1​, β 2 \beta_2 β2​, ε \varepsilon ε:Adam 优化算法的超参数,常设为 0.9、0.999、 1 0 − 8 10^{-8} 10−8
  • L L L:神经网络层数(#layers)
  • decay_rate:学习衰减率

1.2 调参技巧

我们下面来看看神经网络的超参数选择与调试方法。在传统的机器学习中,我们对每个参数等距离选取任意个数的点,然后,分别使用不同点对应的参数组合进行训练,最后根据验证集上的表现好坏,来选定最佳的参数。

例如有两个待调试的参数Hyperparameter 1和Hyperparameter 2,在每个参数上分别均匀间隔选取 5 5 5个点,这样构成了 5 × 5 = 25 5 \times 5=25 5×5=25种参数组合,如图所示。这种做法在参数比较少的时候效果较好。

超参数调试处理

但是在深度神经网络模型中,我们一般不采用这种均匀间隔取点的方法,比较好的做法是使用随机选择。也就是说,对于上面这个例子,我们随机选择25个点,作为待调试的超参数,如下图所示:

超参数调试处理

随机化选择参数的目的是为了尽可能地得到更多种参数组合。还是上面的例子,如果使用均匀采样的话,每个参数只有5种情况;而使用随机采样的话,每个参数有25种可能的情况,因此更有可能得到最佳的参数组合。

这种做法带来的另外一个好处就是对重要性不同的参数之间的选择效果更好。假设hyperparameter1为 α \alpha α,hyperparameter2为 ε \varepsilon ε,显然二者的重要性是不一样的。

  • 如果使用第一种均匀采样的方法, ε \varepsilon ε的影响很小,相当于只选择了5个 α \alpha α值。
  • 如果使用第二种随机采样的方法, ε \varepsilon ε和 α \alpha α都有可能选择25种不同值。这大大增加了 α \alpha α调试的个数,更有可能选择到最优值。

其实,在实际应用中完全不知道哪个参数更加重要的情况下,随机采样的方式能有效解决这一问题,但是均匀采样做不到这点。

超参数调试处理

在经过随机采样之后,我们可能得到某些区域模型的表现较好。然而,为了得到更精确的最佳参数,我们应该继续对选定的区域进行由粗到细的采样(coarse to fine sampling scheme)。也就是放大表现较好的区域,再对此区域做更密集的随机采样。例如,对图中右下角的方形区域再做25点的随机采样,以获得最佳参数。

综上,超参调试过程的技巧总结如下:

  • ① 随机选择点(而非均匀选取),用这些点实验超参数的效果。这样做的原因是我们提前很难知道超参数的重要程度,可以通过选择更多值来进行更多实验;
  • ② 由粗糙到精细:聚焦效果不错的点组成的小区域,在其中更密集地取值,以此类推;

1.3 选择合适的范围

为超参数选择和适合范围 Using An Appropriate Scale to Pick Hyperparameters

上一段讲到使用随机采样调试超参数,对于某些超参数是可以进行尺度均匀采样的,但是某些超参数需要选择不同的合适尺度进行随机采样。举例来说:

① 对于超参数(#layers)和(#hidden units),都是正整数,是可以进行均匀随机采样的,即超参数每次变化的尺度都是一致的(如每次变化为1,犹如一个刻度尺一样,刻度是均匀的)。

② 对于超参数 α \alpha α,待调范围是 [ 0.0001 , 1 ] [0.0001, 1] [0.0001,1]。

  • 如果使用均匀随机采样,那么有90%的采样点分布在 [ 0.1 , 1 ] [0.1, 1] [0.1,1]之间,只有10%分布在 [ 0.0001 , 0.1 ] [0.0001, 0.1] [0.0001,0.1]之间。这在实际应用中是不太好的,因为最佳的 α \alpha α值可能主要分布在 [ 0.0001 , 0.1 ] [0.0001, 0.1] [0.0001,0.1]之间,而 [ 0.1 , 1 ] [0.1, 1] [0.1,1]范围内 α \alpha α值效果并不好。
  • 我们更关注的是区间 [ 0.0001 , 0.1 ] [0.0001, 0.1] [0.0001,0.1],应该在这个区间内细分更多刻度。

超参数调试处理

对于非均匀采样,一种常用的做法是将linear scale转换为log scale,将均匀尺度转化为非均匀尺度,然后再在log scale下进行均匀采样。这样, [ 0.0001 , 0.001 ] [0.0001, 0.001] [0.0001,0.001]、 [ 0.001 , 0.01 ] [0.001, 0.01] [0.001,0.01]、 [ 0.01 , 0.1 ] [0.01, 0.1] [0.01,0.1]、 [ 0.1 , 1 ] [0.1, 1] [0.1,1]各个区间内随机采样的超参数个数基本一致,也就扩大了之前 [ 0.0001 , 0.1 ] [0.0001, 0.1] [0.0001,0.1]区间内采样值个数。

我们以重要参数学习率和动量衰减参数为例:

  • 对于学习率 α \alpha α,用对数标尺而非线性轴更加合理:0.0001、0.001、0.01、0.1 等,然后在这些刻度之间再随机均匀取值;
  • 对于动量衰减参数 β \beta β,取 0.9 就相当于在 10 个值中计算平均值,而取 0.999 就相当于在 1000 个值中计算平均值。可以考虑给 1 − β 1-\beta 1−β 取值,这样就和取学习率类似了。

上述操作的原因是当 β \beta β 接近 1 时,即使 β \beta β 只有微小的改变,所得结果的灵敏度会有较大的变化。例如, β \beta β 从 0.9 增加到 0.9005 对结果 ( 1 / ( 1 − β (1/(1-\beta (1/(1−β))几乎没有影响,而 β \beta β 从 0.999 到 0.9995 对结果的影响巨大(从 1000 个值中计算平均值变为 2000 个值中计算平均值)。

1.4 一些建议

超参数训练的实践:pandas vs Caviar  Hyperparameters Tuning in Practice: Pandas vs Caviar

(1) 深度学习如今已经应用到许多不同的领域。不同的应用出现相互交融的现象,某个应用领域的超参数设定有可能通用于另一领域。不同应用领域的人也应该更多地阅读其他研究领域的 paper,跨领域地寻找灵感。

(2) 考虑到数据的变化或者服务器的变更等因素,建议每隔几个月至少一次,重新测试或评估超参数,来获得实时的最佳模型;

(3) 根据你所拥有的计算资源来决定你训练模型的方式:

超参数调试处理

  • Panda(熊猫方式):在在线广告设置或者在计算机视觉应用领域有大量的数据,但受计算能力所限,同时试验大量模型比较困难。可以采用这种方式:试验一个或一小批模型,初始化,试着让其工作运转,观察它的表现,不断调整参数;
  • Caviar(鱼子酱方式):拥有足够的计算机去平行试验很多模型,尝试很多不同的超参数,选取效果最好的模型;

2.Batch Normalization

Sergey Ioffe和Christian Szegedy两位学者在paper中提出了**批标准化(Batch Normalization,经常简称为 BN)**方法。Batch Normalization不仅可以让调试超参数更加简单,而且可以让神经网络模型更加「健壮」。也就是说较好模型可接受的超参数范围更大一些,包容性更强,使得更容易去训练一个深度神经网络。

接下来,我们就来介绍什么是Batch Normalization,以及它是如何工作的。

之前,我们对输入特征 X X X 使用了标准化处理。我们也可以用同样的思路处理隐藏层的激活值 a [ l ] a^{[l]} a[l] ,以加速 W [ l + 1 ] W^{[l+1]} W[l+1]和 b [ l + 1 ] b^{[l+1]} b[l+1]的训练。在实践中,经常选择标准化隐藏层输入 Z [ l ] Z^{[l]} Z[l],这里我们对第 l l l层隐层做如下处理:

批标准化 Batch Normalization

其中, m m m是单个 Mini-Batch 所包含的样本个数, ε \varepsilon ε 是为了防止分母为零,通常取 1 0 − 8 10^{-8} 10−8。

我们来从「样本」和「通道」维度对上述BN环节做一个可视化展开详解,对于某一层 N × D N \times D N×D的输入,我们上述操作的计算过程如下图所示。(注意其中 i i i为样本维度, j j j为通道维度)

批标准化 Batch Normalization

在经过上述处理前后的数据分布如下图所示,我们可以看到这个处理对数据的「Normalization」影响。

批标准化 Batch Normalization

这样,我们使得所有的输入 z ( i ) z^{(i)} z(i)均值为 0,方差为 1。但我们不想粗暴地让处理后的隐藏层单元直接变为均值 0 方差 1,这样原本学习到的数据分布就被直接抹掉了。因此,我们引入可学习参数 γ \gamma γ 和 β \beta β ,对 z n o r m ( i ) z_{norm}^{(i)} znorm(i)​进行线性变换,如下:

批标准化 Batch Normalization

其中, γ \gamma γ 和 β \beta β 都是模型的学习参数,所以可以用各种梯度下降算法来更新 γ \gamma γ 和 β \beta β 的值,如同更新神经网络的权重一样。

通过对 γ \gamma γ 和 β \beta β 的合理设置,可以让 z ~ ( i ) \tilde z^{(i)} z~(i)的均值和方差为任意值。这样,我们对隐藏层的 z ( i ) z^{(i)} z(i)进行标准化处理,用得到的 z ~ ( i ) \tilde z^{(i)} z~(i)替代 z ( i ) z^{(i)} z(i)。

公式中设置可学习参数 γ \gamma γ 和 β \beta β,原因是如果各隐藏层的输入均值在靠近 0 的区域,即处于激活函数的线性区域,不利于训练非线性神经网络,从而得到效果较差的模型。因此,需要用 γ \gamma γ 和 β \beta β 对标准化后的结果做进一步处理。

2.1 将 BN 应用于神经网络

将 Batch Norm 拟合进神经网络 Fitting Batch Norm into a Neural Network

上面讲解了对某单一隐层的所有神经元进行BN批归一化的方法,总结示意图如下:

批标准化 Batch Normalization

接下来我们研究一下如何把Bath Norm应用到整个神经网络中,对于 L 层神经网络,经过 Batch Normalization 的作用,整体流程如下:

批标准化 Batch Normalization

实际上,Batch Normalization 经常使用在 Mini-Batch 上,这也是其名称的由来。

使用 Batch Normalization 时,因为标准化处理中包含减去均值的一步,因此 b b b 实际上没有起到作用,其数值效果交由 β \beta β 来实现。因此,在 Batch Normalization 中,可以省略 b b b 或者暂时设置为 0。

在使用梯度下降算法时,分别对 W [ l ] W^{[l]} W[l], β [ l ] \beta^{[l]} β[l]和 γ [ l ] \gamma ^{[l]} γ[l]进行迭代更新。

除了传统的梯度下降算法之外,也同样可以使用ShowMeAI上一篇文章 神经网络优化算法 提到的动量梯度下降、RMSProp 或者 Adam 等优化算法。

2.2 BN 有效的原因

为什么batch Norm奏效? Why Does Batch Norm Work?

Batch Normalization 效果很好的原因有以下两点:

  • 通过对隐藏层各神经元的输入做类似的标准化处理,提高神经网络训练速度;
  • 可以使前面层的权重变化对后面层造成的影响减小,整体网络更加健壮。

关于第二点,如果实际应用样本和训练样本的数据分布不同(如下图中的黑猫图片和橘猫图片),我们称发生了「Covariate Shift」。这种情况下,一般要对模型进行重新训练。Batch Normalization 的作用就是减小 Covariate Shift 所带来的影响,让模型变得更加健壮,鲁棒性(Robustness)更强。

批标准化 Batch Normalization

即使输入的值改变了,由于 Batch Normalization 的作用,使得均值和方差保持不变(由 γ \gamma γ 和 β \beta β 决定),限制了在前层的参数更新对数值分布的影响程度,因此后层的学习变得更容易一些。Batch Normalization 减少了各层 W W W 和 b b b 之间的耦合性,让各层更加独立,实现自我训练学习的效果。

另外,Batch Normalization 也起到微弱的正则化(regularization)效果。因为在每个 Mini-Batch 而非整个数据集上计算均值和方差,只由这一小部分数据估计得出的均值和方差会有一些噪声,因此最终计算出的 z ~ ( i ) \tilde z^{(i)} z~(i)也有一定噪声。类似于 Dropout,这种噪声会使得神经元不会再特别依赖于任何一个输入特征。

因为 Batch Normalization 只有微弱的正则化效果,因此可以和 Dropout 一起使用,以获得更强大的正则化效果。通过应用更大的 Mini-Batch 大小,可以减少噪声,从而减少这种正则化效果。

吴恩达老师也提醒大家,不要将 Batch Normalization 作为正则化的手段,而是当作加速学习的方式。正则化只是一种非期望的副作用,Batch Normalization 解决的还是反向传播过程中的梯度问题(梯度消失和爆炸)。

2.3 测试阶段的 Batch Normalization

测试时的 Batch Norm  Batch Norm at Test Time

Batch Normalization 将数据以 Mini-Batch 的形式逐一处理,但在测试时,可能需要对每一个样本逐一处理,这样无法得到 μ \mu μ 和 σ 2 \sigma^2 σ2。

理论上,我们可以将所有训练集放入最终的神经网络模型中,然后将每个隐藏层计算得到的 μ [ l ] \mu^{[l]} μ[l]和 σ 2 [ l ] \sigma^{2[l]} σ2[l]直接作为测试过程的 μ \mu μ 和 σ \sigma σ 来使用。但是,实际应用中一般不使用这种方法,而是使用之前学习过的指数加权平均的方法来预测测试过程单个样本的 μ \mu μ 和 σ 2 \sigma^2 σ2。

测试阶段的BN操作

对于第 l l l 层隐藏层,考虑所有 Mini-Batch 在该隐藏层下的 μ [ l ] \mu^{[l]} μ[l]和 σ 2 [ l ] \sigma^{2[l]} σ2[l],然后用指数加权平均的方式来预测得到当前单个样本的 μ [ l ] \mu^{[l]} μ[l]和 σ 2 [ l ] \sigma^{2[l]} σ2[l]。这样就实现了对测试过程单个样本的均值和方差估计。

3.Softmax 回归

Softmax回归 Softmax Regression

目前为止,介绍的分类例子都是二分类问题:神经网络输出层只有一个神经元,表示预测输出 y ^ \hat{y} y^​ 是正类的概率 P ( y = 1 ∣ x ) P(y = 1 \mid x) P(y=1∣x), y ^ > 0.5 \hat{y}> 0.5 y^​>0.5 则判断为正类,反之判断为负类。

对于多分类问题,用 C C C 表示种类个数,则神经网络输出层,也就是第 L L L 层的单元数量 n [ L ] = C n^{[L]} = C n[L]=C。每个神经元的输出依次对应属于该类的概率,即 P ( y = c ∣ x ) , c = 0 , 1 , . . . , C − 1 P(y=c \mid x),c=0,1,...,C-1 P(y=c∣x),c=0,1,...,C−1。有一种 Logistic 回归的一般形式,叫做 Softmax 回归,可以处理多分类问题。

对于 Softmax 回归模型的输出层,即第 L L L 层,有: Z [ L ] = W [ L ] a [ L − 1 ] + b [ L ] Z^{[L]} = W^{[L]}a^{[L-1]} + b^{[L]} Z[L]=W[L]a[L−1]+b[L]

for i in range(L),有: a i [ L ] = e Z i [ L ] ∑ i = 1 C e Z i [ L ] a^{[L]}_i = \frac{e^{Z^{[L]}_i}}{\sum^C_{i=1}e^{Z^{[L]}_i}} ai[L]​=∑i=1C​eZi[L]​eZi[L]​​

为输出层每个神经元的输出,对应属于该类的概率,满足: ∑ i = 1 C a i [ L ] = 1 \sum^C_{i=1}a^{[L]}_i = 1 ∑i=1C​ai[L]​=1

训练一个 Softmax 分类器 Training a Softmax Classifier

一个直观的计算例子如下:

Softmax 回归

下图为一些softmax线性分类器得到的分类边界

Softmax 回归

3.1 损失函数和成本函数

我们来看看softmax分类器的损失函数,这里定义其损失函数为: L ( y ^ , y ) = − ∑ j = 1 C y j l o g y ^ j L(\hat y, y) = -\sum^C_{j=1}y_jlog\hat y_j L(y^​,y)=−∑j=1C​yj​logy^​j​

当 i i i 为样本真实类别,则有: y j = 0 , j ≠ i y_j = 0, j \ne i yj​=0,j=i

因此,损失函数可以简化为: L ( y ^ , y ) = − y i l o g y ^ i = l o g y ^ i L(\hat y, y) = -y_ilog\hat y_i = log \hat y_i L(y^​,y)=−yi​logy^​i​=logy^​i​

所有 m m m 个样本的成本函数为: J = 1 m ∑ i = 1 m L ( y ^ , y ) J = \frac{1}{m}\sum^m_{i=1}L(\hat y, y) J=m1​∑i=1m​L(y^​,y)

3.2 梯度下降法

多分类的 Softmax 回归模型与二分类的 Logistic 回归模型只有输出层上有一点区别。经过不太一样的推导过程,仍有

d Z [ L ] = A [ L ] − Y dZ^{[L]} = A^{[L]} - Y dZ[L]=A[L]−Y

反向传播过程的其他步骤也和 Logistic 回归的一致。

参考资料:Softmax回归 - Ufldl

4.深度学习框架

深度学习框架 Deep Learning Frameworks

4.1 比较著名的框架

深度学习框架

  • Caffe / Caffe2
  • CNTK
  • DL4J
  • Keras
  • Lasagne
  • mxnet
  • PaddlePaddle
  • TensorFlow
  • pytorch

4.2 选择框架的标准

  • 便于编程:包括神经网络的开发和迭代、配置产品;
  • 运行速度:特别是训练大型数据集时;
  • 是否真正开放:不仅需要开源,而且需要良好的管理,能够持续开放所有功能。

5.Tensorflow

TensorFlow

目前最火的深度学习框架之一是来自google的Tensorflow 。下面简单做一个介绍。(更多的TensorFlow实战方法,请参考)

Tensorflow 框架内可以直接调用梯度下降算法,极大地降低了编程人员的工作量。例如以下代码:

深度学习框架

import numpy as np
import tensorflow as tf

cofficients = np.array([[1.],[-10.],[25.]])

w = tf.Variable(0,dtype=tf.float32)
x = tf.placeholder(tf.float32,[3,1])
# Tensorflow 重载了加减乘除符号
cost = x[0][0]*w**2 + x[1][0]*w + x[2][0]
# 改变下面这行代码,可以换用更好的优化算法
train = tf.train.GradientDescentOptimizer(0.01).minimize(cost)

init = tf.global_variables_initializer()
session = tf.Session()
session.run(init)
for i in range(1000):
    session.run(train, feed_dict=(x:coefficients))
print(session.run(w))

打印为 4.99999,基本可以认为是我们需要的结果。更改 cofficients 的值可以得到不同的结果 w。
上述代码中:

session = tf.Session()
session.run(init)
print(session.run(w))

也可以写作:

with tf.Session() as session:
    session.run(init)
    print(session.run(w))

with 语句适用于对资源进行访问的场合,确保不管使用过程中是否发生异常都会执行必要的「清理」操作,释放资源,比如文件使用后自动关闭、线程中锁的自动获取和释放等。

想了解更多 Tensorflow 有关知识,请参考 官方文档。

参考资料

ShowMeAI系列教程推荐

推荐文章

【AI知识点】批归一化(Batch Normalization) 批归一化(Batch Normalization) 是一种重要的神经网络正则化方法,它通过标准化每一层的输入来加速神经网络的训练过程并提高模型的稳定性。其主要优势包括减少梯度消失和梯度爆炸、加快收敛速度,并提供一定的正则化效果,降低过拟合风险。批归一化在卷积神经网络和全连接神经网络中非常流行,几乎是现代深度学习模型中的标准组件。 阅读详情

相关推荐

吴恩达深度学习第二课笔记——改善深层神经网络:超参数调试、正则化以及优化

文章目录第一周:深度学习的实践层面(Practical aspects of Deep Learning)1.1 训练,验证,测试集(Train / Dev / Test sets)1.2 偏差,方差(Bias /Variance)1.3 机器学习基础(Basic Recipe for Machine Learning)偏差高方差高同时减少方差和偏差1.4 正则化(Regularization)1...

solejay 5284

批归一化(Batch Normalization)

Batch Normalization批量归一化方法可以加速神经网络的收敛,使训练过程中对学习率和参数初始化更加鲁棒,但它也有一些缺陷。bn算法仅在batch中包含样本数量足够多的时候才有效。对于循环神经网络(RNN)或序列数据(Sequence)性能较差。分布式运算也有影响。为了应对bn算法的缺陷,后续又提出了Layer Normalization:在每一个样本特征空间内的归一化。Instance Normalization:在每一个样本特征空间内逐通道的归一化。Group Normalization:

m0_62919535的博客 3712

吴恩达深度学习课程:超参数调优、正则化与优化实战指南

超参数调优是深度学习模型优化的核心技术,通过系统调整学习率、批量大小等参数控制模型训练过程。其原理在于平衡模型收敛速度与泛化能力,避免过拟合或欠拟合问题。在工程实践中,超参数调优能显著提升模型性能,广泛应用于推荐系统、图像识别等场景。正则化技术如Dropout和L2正则化通过约束模型复杂度提高泛化能力,而优化算法如Adam和SGD则影响训练效率和收敛稳定性。本文基于吴恩达深度学习课程,结合Netflix的HyperZero系统等工业案例,深入解析超参数调优与模型生命化的实战方法论。

weixin_29061041的博客 354

深入理解批归一化Batch Normalization批标准化

原文地址: 【深度学习】深入理解Batch Normalization批标准化 :https://www.cnblogs.com/guoyaohua/p/8724433.html 【深度学习】批归一化(Batch Normalization) :https://www.cnblogs.com/skyfsm/p/8453498.html 使用的原因 使用BN的原因是网络训练中每一层不...

ytusdc的博客 9807

深度学习模型优化:超参数调优、正则化与优化算法实践指南

深度学习模型优化是提升神经网络性能的核心技术,其原理在于通过系统化方法调整模型参数和训练过程。从技术价值来看,优化技术能够显著提升模型泛化能力、加速训练收敛并解决过拟合问题。在应用场景中,超参数调优帮助确定最佳学习率和网络结构,正则化技术如Dropout和L2正则化有效控制模型复杂度,优化算法如Adam则确保训练稳定性。这些方法自然收敛到深度学习项目实践,特别是在处理梯度消失和过拟合等常见挑战时,批归一化和早停法等热词技术展现出重要价值。通过结合吴恩达课程的系统方法论,开发者能够建立完整的模型优化思维体系。

weixin_29044713的博客 278

吴恩达深度学习调优课:超参数、正则化与优化算法实战指南

深度学习模型调优是提升模型性能的关键环节,其核心原理在于通过系统化方法平衡模型的拟合能力与泛化性能。超参数调优通过优化学习率、批量大小等参数控制训练过程,正则化技术如Dropout和L2正则化能有效防止过拟合,而优化算法如Adam和SGD则直接影响收敛效率。这些技术的工程价值在于能够显著提升模型稳定性、加速训练过程并改善泛化能力,广泛应用于图像识别、自然语言处理和推荐系统等场景。本文基于吴恩达深度学习课程,重点解析梯度裁剪和早停法等实用技巧,帮助开发者掌握从基础调优到高级优化的完整方法论。

weixin_33046983的博客 225

批归一化(Batch Normalization)详细解释笔记

批归一化(Batch Normalization)的详细解释 ​ 以前在神经网络训练中,只是对输入层数据进行归一化处理,却没有在中间层进行归一化处理。要知道,虽然我们对输入数据进行了归一化处理,但是输入数据经过矩阵乘法以及非线性运算之后,其数据分布很可能被改变,而随着深度网络的多层运算之后,数据分布的变化将越来越大。如果我们能在网络的中间也进行归一化处理,是否对网络的训练起到改进作用呢?答案是肯定...

Breeze 6109

吴恩达深度学习超参数调优实战指南

综合运用正则化和超参数调优,不仅可以提升模型的泛化能力,还可以更有效地利用计算资源和时间。在本章节中,我们探讨了正则化与超参数调优的协同作用,并通过实际的代码示例和案例分析,展示了如何将这些概念运用到实际问题中。通过持续的优化和迭代,我们可以构建出既强大又稳定的深度学习模型。

weixin_33531560的博客 585

深度学习教程 | 网络优化:超参数调优、正则化、批归一化和程序框架

之前,我们对输入特征 XXX 使用了标准化处理。我们也可以用同样的思路处理隐藏层的激活值a[l]a^{[l]}a[l] ,以加速 W[l+1]W^{[l+1]}W[l+1]和 b[l+1]b^{[l+1]}b[l+1]的训练。在实践中,经常选择标准化隐藏层输入 Z[l]Z^{[l]}Z[l],这里我们对第lll层隐层做如下处理:其中,mmm是单个 Mini-Batch 所包含的样本个数,ε\varepsilonε 是为了防止分母为零,通常取 10−810^{-8}10−8。我们来从「

weixin_42907150的博客 1078

吴恩达深度学习超参数调制完整程序(无正则化、L2正则化及Dropout)

吴恩达深度学习Python完整代码,包含无正则化、L2正则化及Dropout三种情况并包含绘制边缘曲线,跑通视频已在压缩包,更加直观的证明本程序跑通并实现哪些功能

MaixCAM2 4K AI相机硬件解析与开发实战

嵌入式AI视觉开发中,边缘计算设备的选择直接影响项目落地效果。以NPU为核心的AI加速技术通过专用指令集优化,可在低功耗下实现10+TOPS算力,典型应用包括工业质检、智能门禁等实时场景。MaixCAM2作为新一代4K AI相机,搭载AX630 SoC芯片,其双核Cortex-A53与NPU的异构架构,在运行YOLOv11n模型时可达113FPS,显著优于传统方案。开发时需注意模型量化部署技巧,如INT8量化需500+张校准图片覆盖多光照条件,避免准确率下降。设备扩展性方面,PMOD接口支持热成像、ToF传

weixin_30819085的博客 692

深度学习教程(1) | 深度学习概论(吴恩达·完整版)

本篇为深度学习系列教程的引言,以房价预测为例,讲解神经网络(Neural Network)模型结构和基础知识,并介绍针对监督学习的几类典型神经网络:Standard NN,CNN和RNN等知识

ShowMeAI研究中心 1万+

深入排查127.0.0.1拒绝连接:从端口占用到Tomcat服务启动的完整解决方案

本文针对开发者访问127.0.0.1时遭遇“拒绝连接”的常见问题,提供了一套完整的排查与解决方案。文章从端口占用检查入手,详细讲解了使用netstat命令识别进程,并深入分析了服务监听地址、IPv6配置、防火墙以及Tomcat服务安装与启动等核心环节。通过实战演练,指导读者系统性地解决从网络层到应用层的各类连接问题,最终确保本地服务成功运行并可通过本地回环地址正常访问。

weixin_29279047的博客 3208

Coursera吴恩达《优化深度神经网络》课程笔记(3)-- 超参数调试、Batch正则化和编程框架

上节课我们主要介绍了深度神经网络的优化算法。包括对原始数据集进行分割,使用mini-batch gradient descent。然后介绍了指数加权平均(Exponentially weighted averages)的概念以及偏移校正(bias correction)方法。接着,我们着重介绍了三种常用的加速神经网络学习速度的三种算法:动量梯度下降、RMSprop和Adam算法。其中,Adam结合

红色石头的专栏 2万+

海康VisionMaster表面缺陷滤波实战:从参数调优到工业检测避坑指南

本文深入探讨海康VisionMaster表面缺陷滤波技术在工业检测中的应用,从参数调优到ROI绘制与Blob分析的协同策略,提供金属外壳、锂电池铝壳等复杂表面的缺陷检测实战指南。通过多级滤波架构和动态ROI生成法,显著提升检出率至98.7%,误检率低于0.5%,为工业质检提供智能化解决方案。

ujm5678901的博客 330

微信小程序中蓝牙打印机中文编码处理:使用iconv-lite库

本文介绍了微信小程序集成蓝牙打印机时中文乱码问题的解决方案。由于打印机通常仅支持GBK/GB2312编码,而小程序使用UTF-8,导致中文显示异常。通过引入轻量级iconv-lite库进行编码转换,可高效解决该问题。文章详细说明了从库安装、编码转换到蓝牙发送的实现步骤,并提供了完整代码示例。关键注意事项包括编码验证、分段发送和兼容性测试。该方法经实际验证,能有效保障中文打印的准确性,适用于零售、物流等场景。

canglingyue的专栏 1310

吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(2-3)-- 超参数调试 和 Batch Norm

改善深层神经网络:超参数调试、正则化以及优化 --- 超参数调试 和 Batch Norm

大树先生的博客 1万+

【C++ 使用libxlsxwriter库向excel表格中插入图片 CMake + VS2019】

使用libxlsxwriter向excel表格插入图片

恒星游历者的博客 757

【深度学习】吴恩达深度学习-Course2改善深层神经网络:超参数调试、正则化以及优化-第三周超参数调试、Batch正则化和程序框架作业

视频链接:【中英字幕】吴恩达深度学习课程第二课 — 改善深层神经网络:超参数调试、正则化以及优化 参考链接: 【中英】【吴恩达课后测验】Course 2 - 改善深层神经网络 - 第三周测验 吴恩达 — 神经网络与深度学习 — L2W3练习 中文习题 1.如果在大量的超参数中搜索最佳的参数值,那么应该尝试在网格中搜索而不是使用随机值,以便更系统的搜索,而不是依靠运气,请问这句话是正确的吗? A.不对 B.对 2.每个超参数如果设置得不好,都会对训练产生巨大的负面影响,因此所有的超参数都要调整好,请问这

passer__jw767的博客 1077

图解ADAS电源系统架构:看懂这张图,搞懂前装摄像头的供电秘密!

别以为ADAS系统就是“摄像头 + SoC”,其实最难搞的是供电系统,尤其是要满足车规级ASIL-D安全等级时。供电时序、电压稳定性、电源监控、冗余通信链路,一个都不能少。😤一旦电源选型不对,轻则系统卡顿,重则全车失控,不是闹着玩的。

weixin_43199439的博客 677

Android软键盘系统深度解析:架构、原理与实现

Android软键盘系统深度解析:架构与实现原理 本文系统剖析了Android软键盘的核心工作机制。作为系统级输入服务,软键盘具有双重属性:既是可安装的独立应用,又深度集成于系统框架中。文章详细解读了软键盘的系统架构,包括其与InputMethodManagerService(IMMS)和WindowManagerService(WMS)的交互机制,以及通过InputConnection实现的跨进程通信流程。同时分析了输入法窗口的特殊管理策略、布局调整模式,并深入探讨了输入预测引擎的实现原理,包括词典加载、

保持专注,保持热爱 117

第二课:改进神经网络:超参数调整、正则化和优化

假设你要构建一个用户可以上传大量图片的应用程序,目的是找出并呈现所有猫咪图片,可能你的用户都是爱猫人士,训练集可能是从网上下载的猫咪图片,而验证集和测试集是用户在这个应用上上传的猫的图片,就是说,训练集可能是从网络上抓下来的图片。而验证集和测试集是用户上传的图片。结果许多网页上的猫咪图片分辨率很高,很专业,后期制作精良,而用户上传的照片可能是用手机随意拍摄的,像素低,比较模糊,这两类数据有所不同,针对这种情况,根据经验,我建议大家要确保验证集和测试集的数据来自同一分布。

a131529的博客 1496

ESP32-CAM 赋能 AI 视觉巡检小车:自主避障与目标追踪实现全解析

本文基于 ESP32-CAM 实现了低成本 AI 视觉巡检小车的核心功能,硬件成本<100 元,兼顾自主避障与目标追踪。算法升级:移植 YOLOv5nano 量化模型(INT8),提升目标检测精度(如识别巡检场景中的 “异常物体”“人员”);无线拓展:通过 MQTT 协议将巡检图像、距离数据上传到阿里云 / 腾讯云,实现远程监控;多传感器融合:增加温湿度(DHT11)、红外测温(MLX90614)模块,扩展巡检维度;路径规划:结合 SLAM 算法,实现自主建图与路径巡检。

weixin_42300449的博客 368

吴恩达深度学习笔记——改善深层神经网络:超参数调整,正则化,最优化(Hyperparameter Tuning)

一些具体的深度学习操作

亦梦亦醒乐逍遥的博客 2701

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

《吴恩达深度学习》02改善深层神经网络:超参数调优、正则化以及优化(第3周超参数调优、Batch正则化和程序框架)

02. 改善深层神经网络:超参数调优、正则化以及优化 第三周 超参数调优、Batch正则化和程序框架 3.1 调试处理 超参数 (1)常见参数:α,β,β1,β2,ϵ\alpha, \beta, \beta_1, \beta_2, \epsilonα,β,β1​,β2​,ϵ,层数,每层单元数,学习率衰减,mini-batch规模 (2)重要性排名:a. α\alphaα, b. β\betaβ,...

fzj0121的博客 306

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 深度学习教程(6) | 神经网络优化算法(吴恩达·完整版)
下一篇: 深度学习教程(8) | AI应用实践策略(上)(吴恩达·完整版)
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值