深度学习教程(5) | 深度学习的实用层面(吴恩达·完整版)

【深度学习】吴恩达课程笔记(三)——参数VS超参数、深度学习的实践层面 超参数(Hyperparameters)是机器学习算法中的一种参数,它们用于控制模型训练过程的行为,而不是直接由数据决定。与模型的权重(即学习参数)不同,超参数通常在训练之前设定,并且需要手动调整。超参数的选择对模型的性能和训练效果有很大影响。不同的超参数组合可能导致不同的模型表现,因此选择合适的超参数非常重要。学习率(Learning Rate):控制模型在每次迭代中更新权重的步长大小。正则化参数(Regularization Parameter):用于控制模型的复杂度,防止过拟合。 阅读详情


第2门课 改善深层神经网络:超参数调试、正则化以及优化,第1周:深度学习的实用层面

本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得,对应的课程视频可以在这里查看。

引言

在ShowMeAI前一篇文章 深层神经网络中我们对以下内容进行了介绍:

  • 深层神经网络的结构。
  • 深层神经网络前向传播和反向传播过程。
  • 需要深层神经网络的原因。
  • 神经网络参与超参数。
  • 神经网络与人脑简单对比

本篇内容对应吴恩达老师深度学习系列第2门课《Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization》。在第2门课中,吴恩达老师展开讨论和讲解了如何优化神经网络模型,例如调整超参数,提高算法运行速度等等。

1.数据划分:训练 / 验证 / 测试集

训练,验证,测试集 Train / Dev / Test sets

1.1 深度学习实践迭代优化

实际应用深度学习是一个迭代过程。

在构建一个神经网络的时候,我们需要设置许多超参数,例如神经网络的层数(#Layers)、每个隐藏层包含的神经元个数(#Hidden Units)、学习速率(,Learning Rates)、激活函数(Activation Functions)的选择等。实际上很难在第一次设置的时候就选择到这些最佳的超参数,而是需要通过不断地迭代更新来获得。

循环迭代过程是如下这样的:

深度学习优化迭代过程

  • ① 产生想法Idea,选择初始的参数值,构建神经网络模型结构;
  • ② 通过代码Code实现上述想法;
  • ③ 通过实验Experiment验证这些超参数对应的神经网络的表现性能。
  • ④ 根据验证结果,我们对超参数进行适当的调整优化,再进行下一次的Idea->Code->Experiment循环。通过很多次的循环,不断调整超参数,选定最佳的参数值,从而让神经网络性能最优化。

上述迭代过程中,决定整个训练过程快慢的关键在于单次循环所花费的时间,单次循环越快,训练过程越快。而设置合适的训练集(Training sets)、验证集(Development sets)、测试集(Test sets)大小,能有效提高训练效率。上述数据部分来源于建立模型的过程中,我们对于总体数据的划分:

  • 训练集(Training Sets):用训练集对算法或模型进行训练过程。
  • 验证集((Development Sets):利用验证集(又称为简单交叉验证集,hold-out cross validation set)进行交叉验证,选择出最好的模型。
  • 测试集(Test Sets):最后利用测试集对模型进行测试,获取模型运行的无偏估计(对学习方法进行评估)。

1.2 前大数据时代划分方式

在小数据量的时代,如100、1000、10000的数据量大小,可以将数据集按照以下比例进行划分:

深度学习中的数据切分

  • 无验证集的情况:70%、30%
  • 有验证集的情况:60%、20%、20%

1.3 大数据时代划分方式

而在如今的大数据时代,对于一个问题,我们拥有的数据集的规模可能是百万级别的,所以验证集和测试集所占的比重会趋向于变得更小。

关于验证集

验证集的目的是为了验证不同的算法哪种更加有效,所以验证集只要足够大到能够验证大约2-10种算法哪种更好,而不需要使用20%的数据作为验证集。如百万数据中抽取1万的数据作为验证集就可以了。

关于测试集

测试集的主要目的是评估模型的效果,如在单个分类器中,往往在百万级别的数据中,我们选择其中10000条数据也足以评估单个模型的效果。

我们针对不同量级的大数据场景,可以采用如下的训练集(Training sets)、验证集(Development sets)、测试集(Test sets)数据划分方式:

深度学习中的数据切分

  • 100万数据量:98%、1%、1%
  • 超百万数据量:99.5%、0.25%、0.25% (或者99.5%、0.4%、0.1%)

1.4 数据划分建议

建议验证集要和训练集来自于同一个分布(数据来源一致),可以使得机器学习算法变得更快并获得更好的效果。

假设你开发一个手机app,可以让用户上传图片,然后app识别出猫的图片。在app识别算法中,你的训练样本可能来自网络下载,而你的验证和测试样本可能来自不同用户的上传。从网络下载的图片一般像素较高而且比较正规,而用户上传的图片往往像素不稳定,且图片质量不一。这种情况下验证集和测试集的作用就受影响了。

如果不需要用无偏估计来评估模型的性能,则可以不需要测试集。

Test sets测试集的目标主要是进行无偏估计。我们可以通过Train sets训练不同的算法模型,然后分别在Dev sets上进行验证,根据结果选择最好的算法模型。这样也是可以的,不需要再进行无偏估计了。如果只有Train sets和Dev sets,通常也有人把这里的Dev sets称为Test sets,我们要注意加以区别。

2.模型估计:偏差 / 方差

偏差,方差 Bias / Variance

2.1 模型状态与评估

**偏差(Bias)和方差(Variance)**是机器学习领域非常重要的两个概念和需要解决的问题。在传统的机器学习算法中,Bias和Variance是对立的,分别对应着欠拟合和过拟合,我们常常需要在Bias和Variance之间进行权衡。而在深度学习中,我们可以同时减小Bias和Variance,构建最佳神经网络模型。

我们先来梳理一下上面提到的概念:

  • 偏差(Bias):度量了学习算法的期望预测与真实结果的偏离程度,即刻画了学习算法本身的拟合能力。
  • 方差(Variance):度量了同样大小的训练集的变动所导致的学习性能的变化,即刻画了数据扰动所造成的影响。
  • 噪声(noise):表达了在当前任务上任何学习算法所能够达到的期望泛化误差的下界,即刻画了学习问题本身的难度。

如图是二维平面上二分类问题对应的几种模型状态(High Bias,Just Right,High Variance)示例图。

模型估计:偏差/方差

其中,High Bias对应着欠拟合,而High Variance对应着过拟合。在欠拟合(underfitting)的情况下,出现高偏差(High Bias)的情况,即不能很好地对数据进行分类。

这个例子中输入特征是二维的,High Bias和High Variance可以直接从图中分类线看出来。而对于输入特征是高维的情况,如何来判断是否出现了High Bias或者High Variance呢?

模型估计:偏差/方差

这就要特别借助于上一节我们提到几个数据集的评估来完成了(关于模型的评估也可以参考ShowMeAI文章 图解机器学习 | 模型评估方法与准则)

模型估计:偏差/方差

一般般来说,训练集错误率体现了是否出现Bias(偏差),验证集(和训练集差异)错误率体现了是否出现Variance(方差)。当训练出一个模型以后:

  • 训练集的错误率较小,而验证集的错误率却较大,说明模型存在较大方差(Variance),可能出现了过拟合。
  • 训练集和验证集的错误率都较大,且两者相当,说明模型存在较大偏差(Bias),可能出现了欠拟合。
  • 训练集错误率较大,且验证集的错误率远较训练集大,说明方差和偏差都较大,模型很差。
  • 训练集和验证集的错误率都较小,且两者的相差也较小,说明方差和偏差都较小,这个模型效果比较好。

神经网络模型甚至可能出现High Bias and High Variance的糟糕状态,如下图所示:

模型估计:偏差/方差

2.2 应对方法

机器学习基础 Basic Recipe for Machine Learning

模型可能处于上述提到的不同状态中,在我们对模型状态评估完毕之后,针对不同的状态,优化方式如下:

  • 模型存在高偏差:扩大网络规模,如添加隐藏层或隐藏单元数目;寻找合适的网络架构,使用更大的NN结构;花费更长时间训练。
  • 模型存在高方差:获取更多的数据;正则化(Regularization);寻找更合适的网络结构。
  • 不断尝试,直到找到低偏差、低方差的框架。

模型估计:偏差/方差

在深度学习的早期阶段,没有太多方法能做到只减少偏差或方差而不影响到另外一方。而在大数据时代,深度学习对监督式学习大有裨益,使得我们不用像以前一样太过关注如何平衡偏差和方差的权衡问题,通过以上方法可以在不增加某一方的前提下减少另一方的值。

3.正则化(Regularization)

正则化 Regularization

3.1 正则化

如果模型出现了过拟合(High Variance)状态,可以通过正则化Regularization来缓解解决。虽然扩大训练样本数量也是减小High Variance的一种方法,但是通常获得更多训练样本的成本太高,比较困难。所以,更可行有效的办法就是使用正则。

3.2 Logistic 回归中的正则化

我们先回顾一下之前介绍过的逻辑回归模型,我们在Cost Function里添加了L2 Regularization(详见ShowMeAI文章 图解机器学习 | 逻辑回归算法详解),表达式如下:

$
J(w,b)=\frac1m \sum_{i=1}^m L(\hat y{(i)},y{(i)})+\frac{\lambda}{2m}||w||_2^2
$

为什么只对 w w w进行正则化而不对 b b b进行正则化呢?其实也可以对 b b b进行正则化。但是一般 w w w的维度很大,而 b b b只是一个常数。相比较来说,参数很大程度上由 w w w决定,改变 b b b值对整体模型影响较小。所以,一般为了简便,就忽略对 b b b的正则化了。

正则化

除了L2正则化之外,我们在逻辑回归中也可以添加L1正则化。表达式如下:

J ( w , b ) = 1 m ∑ i = 1 m L ( y ^ ( i ) , y ( i ) ) + λ 2 m ∣ ∣ w ∣ ∣ 1 J(w,b)=\frac1m\sum_{i=1}^mL(\hat y^{(i)},y^{(i)})+\frac{\lambda}{2m}||w||_1 J(w,b)=m1​i=1∑m​L(y^​(i),y(i))+2mλ​∣∣w∣∣1​

与L2正则化相比,L1正则化更容易得到稀疏的 w w w解,即最后训练得到的权重 w w w中有很多为零值。L1正则化优点是节约存储空间(因为大部分 w w w为0)。但实际上L1正则化在解决过拟合问题上并不优于L2正则化,且L1的在微分求导方面比较复杂。所以一般更常用的还是L2正则化。

L1、L2正则化中的 λ \lambda λ就是正则化参数(超参数的一种)。可以设置 λ \lambda λ为不同的值,在验证集Dev set中进行验证,选择最佳的 λ \lambda λ。

3.3 神经网络中的正则化

在深度学习模型中,L2正则化的表达式如图所示:

神经网络的正则化

通常,我们把 ∣ ∣ w [ l ] ∣ ∣ 2 ||w^{[l]}||^2 ∣∣w[l]∣∣2称为弗罗贝尼乌斯范数(Frobenius Norm),记为 ∣ ∣ w [ l ] ∣ ∣ F 2 ||w^{[l]}||_F^2 ∣∣w[l]∣∣F2​。

由于在Cost Function中加入了正则化项,梯度下降算法中的 d w [ l ] dw^{[l]} dw[l]计算表达式需要做如下修改:

d w [ l ] = d w b e f o r e [ l ] + λ m w [ l ] dw^{[l]}=dw^{[l]}_{before}+\frac{\lambda}{m}w^{[l]} dw[l]=dwbefore[l]​+mλ​w[l]

w [ l ] : = w [ l ] − α ⋅ d w [ l ] w^{[l]}:=w^{[l]}-\alpha\cdot dw^{[l]} w[l]:=w[l]−α⋅dw[l]

大家有时候也会听到L2正则化被称做weight decay。这是因为,由于加上了正则项, d w [ l ] dw^{[l]} dw[l]有个增量,在更新 w [ l ] w^{[l]} w[l]的时候,会多减去这个增量,使得 w [ l ] w^{[l]} w[l]比没有正则项的值要小一些。不断迭代更新,不断地减小。

w [ l ] : = w [ l ] − α ⋅ d w [ l ] = w [ l ] − α ⋅ ( d w b e f o r e [ l ] + λ m w [ l ] ) = ( 1 − α λ m ) w [ l ] − α ⋅ d w b e f o r e [ l ] \begin{aligned} w^{[l]} :& = w^{[l]}-\alpha\cdot dw^{[l]}\\ & = w^{[l]}-\alpha\cdot(dw^{[l]}_{before}+\frac{\lambda}{m}w^{[l]})\\ & = (1-\alpha\frac{\lambda}{m})w^{[l]}-\alpha\cdot dw^{[l]}_{before} \end{aligned} w[l]:​=w[l]−α⋅dw[l]=w[l]−α⋅(dwbefore[l]​+mλ​w[l])=(1−αmλ​)w[l]−α⋅dwbefore[l]​​

其中, ( 1 − α λ m ) < 1 (1-\alpha\frac{\lambda}{m})<1 (1−αmλ​)<1。

3.4 正则化可以减小过拟合的原因

为什么正则化有利于预防过拟合呢? Why Regularization Reduces Overfitting?

(1) 直观解释

我们回到上面模型状态的那张图,从左到右,分别表示了欠拟合、刚好拟合、过拟合三种情况。选择图中的复杂神经网络模型,那么不添加正则化的情况下,我们可能得到图中的过拟合分类边界。

神经网络的正则化

如果使用 L 2 正则化,当 L2正则化,当 L2正则化,当\lambda 很大时, 很大时, 很大时,w{[l]}\approx0$。$w{[l]}$近似为零,意味着该神经网络模型中的某些神经元实际的作用很小,可以忽略。从效果上来看,其实是将某些神经元给忽略掉了。这样原本过于复杂的神经网络模型就变得不那么复杂了,而变得非常简单化了。

如图所示,整个简化的神经网络模型变成了一个逻辑回归模型。问题就从High Variance变成了High Bias了。

神经网络的正则化

因此,总结一下,直观的一种理解是:正则化因子设置的足够大的情况下,为了使成本函数最小化,权重矩阵 W W W就会被设置为接近于0的值,直观上相当于消除了很多神经元的影响,那么大的神经网络就会变成一个较小的网络。当然,实际上隐藏层的神经元依然存在,但是其影响减弱了,过拟合可能性大大减小。

(2) 数学解释

假设神经元中使用的激活函数为 g ( z ) = t a n h ( z ) g(z) = tanh(z) g(z)=tanh(z)(sigmoid同理)。(关于激活函数的知识回顾可以查看ShowMeAI文章 浅层神经网络 )

神经网络的正则化

在加入正则化项后,当 λ \lambda λ增大,导致 W [ l ] W^{[l]} W[l]减小, Z [ l ] = W [ l ] a [ l − 1 ] + b [ l ] Z^{[l]} = W^{[l]}a^{[l-1]} + b^{[l]} Z[l]=W[l]a[l−1]+b[l]便会减小。通过上图我们会发现,在 z z z较小(接近于0)的区域里, t a n h ( z ) tanh(z) tanh(z)函数近似线性,所以每层的函数就近似线性函数,整个网络就成为一个简单的近似线性的网络,因此不会发生过拟合。

(3) 其他解释

在权值 w [ L ] w^{[L]} w[L]变小之下,输入样本 X X X随机的变化不会对神经网络模造成过大的影响,神经网络受局部噪音的影响的可能性变小。这就是正则化能够降低模型方差的原因。

4.Dropout 正则化

Dropout 正则化 Dropout Regularization

在神经网络中,另外一种很有效的正则化方式叫做Dropout(随机失活),它是指在神经网络的隐藏层为每个神经元结点设置一个随机关闭的概率,保留下来的神经元形成一个结点较少、规模较小的网络用于训练。网络模型得到简化,从而避免发生过拟合。

Dropout正则化

4.1 反向随机失活(Inverted Dropout)

Dropout有不同的实现方法,一种常用的方法是Inverted Dropout。假设对于第l层神经元,设定保留神经元比例概率keep_prob=0.8,即该层有20%的神经元停止工作。 d l dl dl为Dropout向量,设置 d l dl dl为随机vector,其中80%的元素为1,20%的元素为0。

Dropout vector的生成python代码如下所示:

Dropout正则化

keep_prob = 0.8    # 设置神经元保留概率
dl = np.random.rand(al.shape[0], al.shape[1]) < keep_prob
al = np.multiply(al, dl)
al /= keep_prob
  • 最后一步al /= keep_prob是因为 a [ l ] a^{[l]} a[l]中的一部分元素失活(相当于被归零),为了在下一层计算时不影响 Z [ l + 1 ] = W [ l + 1 ] a [ l ] + b [ l + 1 ] Z^{[l+1]} = W^{[l+1]}a^{[l]} + b^{[l+1]} Z[l+1]=W[l+1]a[l]+b[l+1]的期望值,因此除以一个keep_prob。

Inverted Dropout的另外一个好处就是在对该Dropout后的神经网络进行测试时能够减少scaling问题。因为在训练时,使用scale up保证al的期望值没有大的变化,测试时就不需要再对样本数据进行类似的尺度伸缩操作了。

  • 对于 m m m个样本,单次迭代训练时,随机删除掉隐藏层一定数量的神经元;
  • 然后,在删除后的剩下的神经元上正向和反向更新权重 w w w和常数项 b b b;
  • 接着,下一次迭代中,再恢复之前删除的神经元,重新随机删除一定数量的神经元,进行正向和反向更新 w w w和 b b b。
  • 不断重复上述过程,直至迭代训练完成。

注意:使用Dropout训练结束后,在测试和实际应用模型时,不需要进行Dropout和随机删减神经元,所有的神经元都在工作。

4.2 理解 Dropout

理解 Dropout Understanding Dropout

4.2.1 Dropout理解视角1

Dropout通过每次迭代训练时,随机选择不同的神经元,相当于每次都在不同的神经网络上进行训练,类似机器学习中Bagging的方法(详细思想可以阅读ShowMeAI文章 图解机器学习 | 随机森林分类模型详解),能够防止过拟合。

Dropout正则化

4.2.2 Dropout理解视角2

第2个理解的视角是Dropout会减小权重 w w w的值。

对于某个神经元来说,某次训练时,它的某些输入在Dropout的作用被过滤了。而在下一次训练时,又有不同的某些输入被过滤。经过多次训练后,某些输入被过滤,某些输入被保留。这样,神经元不会再特别依赖于任何一个输入特征。也就是说,对应的权重 w w w不会很大。这从效果上来说,与L2 正则化是类似的,都是对权重 w w w进行「惩罚」,减小了 w w w的值。

Dropout正则化

因此,通过传播过程,Dropout将产生和 L 2 L2 L2正则化相同的收缩权重的效果。

4.3 Dropout取值

一般来说,神经元多的隐藏层,keep_prob可以设置得小一些,例如0.5;神经元越少的隐藏层,keep_out可以设置的大一些,例如0.8,设置是1。

实际应用中,不建议对输入层进行Dropout,如果输入层维度很大,例如图片,那么可以设置Dropout,但keep_prob应设置的大一些,例如0.8,0.9。

总体来说,就是越容易出现overfitting的隐藏层,其keep_prob就设置的相对小一些。没有准确固定的做法,通常可以根据validation进行选择。

注意:Dropout的一大缺点是成本函数无法被明确定义。因为每次迭代都会随机消除一些神经元结点的影响,因此无法确保成本函数单调递减。因此,使用Dropout时,先将keep_prob全部设置为1.0后运行代码,确保 J ( w , b ) J(w, b) J(w,b)函数单调递减,再打开Dropout。

5.其他正则化方法

其他正则化方法 Other Regularization Methods

5.1 数据扩增(Data Augmentation)

数据扩增(Data Augmentation)是深度学习中常见和有效的技巧,特别的,在计算机视觉领域,它指的通过图片的一些变换(翻转,局部放大后切割等),得到更多的训练集和验证集。如下图所示:

其他正则化方法

5.2 早停止法(Early Stopping)

因为深度学习的训练过程是一个不断迭代优化训练集cost function的过程,但是迭代次数过多会导致模型过度拟合训练集而对其他数据泛化能力变弱。一个处理方法是使用早停止法(Early Stopping)。

在早停止法(Early Stopping)中,我们会把训练集和验证集进行梯度下降时的成本变化曲线画在同一个坐标轴内。当训练集误差降低但验证集误差升高,两者开始发生较大偏差时及时停止迭代,并返回具有最小验证集误差的连接权和阈值,以避免过拟合。

其他正则化方法

Early Stopping也有其自身缺点。

回顾我们应用机器学习训练模型有两个目标:① 优化Cost Function,尽量减小 J J J;② 防止过拟合,希望在新数据上有好的泛化能力。这两个目标彼此对立的,即减小 J J J的同时可能会造成过拟合,反之亦然。

前面提到过,在深度学习中,神经网络可以同时减小Bias和Variance,构建最佳模型。但是,Early Stopping的做法通过减少得带训练次数来防止过拟合,这样 J J J就不会足够小。也就是说,Early Stopping将上述两个目标融合在一起,同时优化,但可能没有「分而治之」的效果好。

对比Early Stopping,L2正则化可以实现「分而治之」的效果:迭代训练足够多,减小 J J J,而且也能有效防止过拟合。而L2正则化的缺点之一是最优的正则化参数 λ \lambda λ的选择比较复杂,这点上Early Stopping比较简单。

总体上 L 2 L2 L2正则化更加常用一些。

6.标准化输入

标准化输入 Normalizing Inputs

6.1 标准化输入操作

在训练神经网络时,对输入标准化可以提高训练的速度。标准化就是对训练数据集进行归一化的操作,即将原始数据减去其均值 μ \mu μ后,再除以其方差 σ 2 \sigma^2 σ2:

μ = 1 m ∑ i = 1 m X ( i ) \mu=\frac1m\sum_{i=1}^mX^{(i)} μ=m1​i=1∑m​X(i)

σ 2 = 1 m ∑ i = 1 m ( X ( i ) ) 2 \sigma^2=\frac1m\sum_{i=1}^m(X^{(i)})^2 σ2=m1​i=1∑m​(X(i))2

X : = X − μ σ 2 X:=\frac{X-\mu}{\sigma^2} X:=σ2X−μ​

下图展示二维数据的归一化过程及其分布变化:

标准化输入

注意:实际建模应用时,对于测试集,应该使用训练集同样的 μ \mu μ和 σ 2 \sigma^2 σ2对其进行标准化处理。这样保证了训练集和测试集的标准化操作一致。

6.2 标准化输入原因

标准化输入可以让所有输入调整到同样的尺度scale上,方便进行梯度下降算法时能够更快更准确地找到全局最优解。

以二维数据为例,如果输入数据有 x 1 x_1 x1​和 x 2 x_2 x2​两个维度, x 1 x_1 x1​的范围是 [ 1 , 1000 ] [1,1000] [1,1000], x 2 x_2 x2​的范围是 [ 0 , 1 ] [0,1] [0,1]。

标准化输入

(1) 未做标准化的情形

不进行标准化处理的情况下, x 1 x_1 x1​与 x 2 x_2 x2​之间分布极不平衡,训练得到的 w 1 w_1 w1​和 w 2 w_2 w2​也会在数量级上差别很大。这种情形下的Cost Function与 w w w和 b b b的关系可能是一个非常细长的椭圆形碗,如图左所示。

对这种Cost Function进行梯度下降优化时,由于 w 1 w_1 w1​和 w 2 w_2 w2​数值差异很大,只能选择很小的学习因子 α \alpha α,来避免 J J J发生振荡。一旦 α \alpha α较大,必然发生振荡, J J J不再单调下降。

(2) 做完标准化的情形

如果进行了标准化操作, x 1 x_1 x1​与 x 2 x_2 x2​分布均匀, w 1 w_1 w1​和 w 2 w_2 w2​数值差别不大,得到的Cost Function与 w w w和 b b b的关系是类似圆形碗,如右图所示。对其进行梯度下降优化时, α \alpha α可以选择相对大一些,且 J J J一般不会发生振荡,保证了 J J J是单调下降的。

如果输入特征之间的范围本来就比较接近,那么不进行标准化操作也是没有太大影响的。但是,标准化处理在大多数场合下还是值得做的。

7.梯度消失和梯度爆炸

梯度消失/梯度爆炸 Vanishing / Exploding Gradients

7.1 梯度爆炸与梯度消失

在深度神经网络里,我们在计算损失函数梯度时,有时会出现以指数级递增或者递减的情况,它们分别对应神经网络的梯度爆炸和梯度消失问题。

举个例子来说明,假设一个多层的每层只包含两个神经元的深度神经网络模型,如下图所示:

为了简化复杂度,便于分析,我们令各层的激活函数为线性函数,且忽略各层常数项 b b b的影响,即假定 g ( z ) = z g(z) = z g(z)=z, b [ l ] = 0 b^{[l]} = 0 b[l]=0,对于目标输出 y ^ \hat{y} y^​有:

梯度消失和梯度爆炸

这种叠乘会带来下面2种情况:

  • 对于 W [ l ] W^{[l]} W[l]的值大于1的情况,激活函数的值将以指数级递增;
  • 对于 W [ l ] W^{[l]} W[l]的值小于1的情况,激活函数的值将以指数级递减。

计算梯度是一个类似的过程,根据求导链式法则,也会有叠乘情况出现,梯度函数会以指数级递增或递减,导致训练导数难度上升,梯度下降算法的步长会变得非常小,需要训练的时间将会非常长。

7.2 权重初始化缓解梯度消失和爆炸

神经网络的权重初始化 Weight Initialization for Deep Networks

那么怎么改善梯度消失和爆炸问题呢?一种方法是对权重 w w w进行一些初始化处理。(其他的一些方法如ShowMeAI文章 经典CNN网络实例详解 中提到的ResNet等网络结构调整)

深度神经网络模型中,以单个神经元为例,其输出计算为 y ^ \hat{y} y^​:

梯度消失和梯度爆炸

为了让 y ^ \hat{y} y^​不会过大或者过小,思路是让 w w w与 n n n有关,且 n n n越大, w w w应该越小才好。一种方法是在初始化w时,令其方差为 1 / n 1/n 1/n,这里称为Xavier initialization。

# 针对tanh激活函数的Xavier初始化
WL = np.random.randn(WL.shape[0], WL.shape[1]) * np.sqrt(1/n)

其中 n n n是输入的神经元个数,即WL.shape[1]。

这样,激活函数的输入 x x x近似设置成均值为0,标准方差为1,神经元输出 z z z的方差就正则化到1了。虽然没有解决梯度消失和爆炸的问题,但其在一定程度上确实减缓了梯度消失和爆炸的速度。

如果使用的是ReLU激活函数,权重 w w w的初始化一般令其方差为 2 / n 2/n 2/n对应python代码如下:

w[l] = np.random.randn(n[l],n[l-1])*np.sqrt(2/n[l-1])

8.梯度检验(Gradient checking)

8.1 梯度的数值逼近

梯度的数值逼近 Numerical approximation of gradients

我们知道梯度下降法会大程度依赖梯度来完成,在数学上,我们可以基于微分的定义,使用极限的计算去逼近导数,我们有如下的「单边误差法」和「双边误差法」,其中后者精度要高一些。

(1) 单边误差

梯度检验

(2) 双边误差求导(即导数的定义)

梯度检验

当 ε \varepsilon ε越小时,结果越接近真实的导数,也就是梯度值。可以使用这种方法来判断反向传播进行梯度下降时,是否出现了错误。

8.2 梯度检验

梯度检验 Gradient Checking

当我们计算出数值梯度后,要进行梯度检查,来验证训练过程中是否有问题。

(1) 连接参数

将 W [ 1 ] W^{[1]} W[1], b [ 1 ] b^{[1]} b[1],…, W [ L ] W^{[L]} W[L], b [ L ] b^{[L]} b[L]全部连接出来,成为一个巨型向量 θ \theta θ。

同时,对 d W [ 1 ] dW^{[1]} dW[1], d b [ 1 ] db^{[1]} db[1],…, d W [ L ] dW^{[L]} dW[L], d b [ L ] db^{[L]} db[L]执行同样的操作得到巨型向量 d θ d\theta dθ,它和 θ \theta θ有同样的维度。

连接参数

现在,我们需要找到 d θ d\theta dθ和代价函数 J J J的梯度的关系。

(2)进行梯度检验

求得一个梯度逼近值 d θ a p p r o x [ i ] d\theta_{approx}[i] dθapprox​[i],应该 ≈ d θ [ i ] = ∂ J ∂ θ i \approx d\theta[i] = \frac{\partial J}{\partial \theta_i} ≈dθ[i]=∂θi​∂J​。

梯度检验

因此,我们用梯度检验值检验反向传播的实施是否正确。其中, ∣ ∣ x ∣ ∣ 2 {||x||}_2 ∣∣x∣∣2​表示向量 x x x的2-范数(也称「欧几里德范数」)。

如果梯度检验值和$\varepsilon $的值相近,说明神经网络的实施是正确的,否则要去检查代码是否存在bug。

8.3在神经网络实施梯度检验的实用技巧和注意事项

梯度检验应用的注意事项 Gradient Checking Implementation Notes

在进行梯度检查的过程中有几点需要注意的地方:

  • 不要在整个训练过程中使用梯度检验,它仅仅用于调试。
  • 如果算法的梯度检验失败,找到对应出错的梯度(即 d θ ≈ [ i ] d\theta \approx [i] dθ≈[i]与 d θ d\theta dθ的值相差比较大的项),检查其推导是否出现错误。
  • 计算近似梯度时,要带上正则项。
  • 梯度检查时关闭dropout,检查完毕后再打开dropout。

参考资料

ShowMeAI系列教程推荐

推荐文章

Coursera-吴恩达-深度学习(DL)专项课-课程笔记与编程实战-汇总 1.介绍 本文主要基于Coursera上deeplearning.ai的吴恩达主讲的经典课程——深度学习专项课程(Deep Learning Specialization) 将全部课程内容进行梳理并结合个人理解进行了总结。意在总结笔记加深理解,同时也为其他学习该课程或想学习DL相关知识的同学提供参考。 因本人仍在学习过程中,水平有限,难免有疏忽与错误,诚请各位指正。 2.参考资料 课程原地址:https://www.coursera.org/specializations/deep-learning B站转 阅读详情

相关推荐

彩虹期权定价

彩虹期权的定价较为复杂,因为它涉及多个标的资产的联合分布。蒙特卡洛模拟(Monte Carlo Simulation):通过模拟多个标的资产价格路径,计算期权的预期支付。解析近似方法:如马尔可夫链近似方法或多变量Black-Scholes公式的扩展。数值方法:如有限差分法或傅里叶变换法,适用于某些特定条件下的多资产期权定价。由于彩虹期权涉及多个标的资产,我们通常使用蒙特卡洛模拟来进行定价。接下来,我将演示如何使用Heston模型和蒙特卡洛模拟方法来定价彩虹期权。

智能科技前沿 1860

深度学习快速入门

涵盖深度学习的主要各个核心模块,以及流行框架 TensorFlow, Keras,Caffee和PyTorch, 以实战为核心,手把手带学员编程。本课程将用通俗易懂的语言已经相关项目给学校展示深度学习相关知识,让学员学以致用。

wps脚注转参考文献格式

用于写论文时直接将规范的脚注格式转为参考文献格式

Zeaf的博客 1556

【零基础深度学习教程第一课:深度学习基础】

深度学习快速入门指南:通过介绍深度学习与神经网络的一些基本且重要的概念,让对该领域感兴趣的伙伴快速上手,建立一个对深度学习基本的认识!

weixin_45471543的博客 6265

[Python图像处理] 二.OpenCV+Numpy库读取与修改像素

该系列文章是讲解Python OpenCV图像处理知识,前期主要讲解图像入门、OpenCV基础用法,中期讲解图像处理的各种算法,包括图像锐化算子、图像增强技术、图像分割等,后期结合深度学习研究图像识别、图像分类应用。希望文章对您有所帮助,如果有不足之处,还请海涵~ 同时推荐作者的C++图像系列知识: [数字图像处理] 一.MFC详解显示BMP格式图片 [数字图像处理] 二.MFC单文档分...

杨秀璋的专栏 3万+

QGis软件 —— 2、QGis加载在线地图两种方式(谷歌地图、天地图)

QGis软件 —— 2、QGis加载在线地图两种方式(谷歌地图)

1万+

深度学习的一些基本概念—入门教程

深度学习是一种人工智能技术,其应用广泛,包括图像识别、语音识别、自然语言处理、推荐系统等。本教程将介绍深度学习的基础概念和常用模型。

百年孤独百年的博客 3545

前端技能树,面试复习第 54 天—— 手写代码:情景题

前端修罗场提供全网最专业的前端优质文章与社区服务,为应届生,初中级前端工程师提供全面、优质的面试服务、技能提升、职场解惑服务!内容包含:前端面试辅导,前端面试题,前端交流,前端答疑,前端基础知识,前端知识体系,技能树搭建,Javascript,CSS,CSS3,HTML,React,Vue,小程序,前端简历,职业交流,远程工作,英文交流,英文提升,外企,互联网,国企,大厂,牛客面试题,掘金面试题,面经,优质前端文章分享...

前端进阶之路 | 中大厂、外企、国企内推 | 面试培训 | 简历修改 987

深度学习入门从入门到精通——深度学习入门

RNN:适用于处理短时间依赖的序列数据,但存在梯度消失问题。LSTM:通过复杂的门机制,能够处理长时间依赖,并有效防止梯度消失,适用于更长的序列数据。GRU:简化了 LSTM 的结构,计算效率更高,在保持性能的同时减少了计算开销。这些模型都在自然语言处理、语音识别、时间序列预测等领域有广泛的应用。通过理解这些模型的原理和优缺点,可以更好地选择合适的模型来处理具体的序列任务。

swpucwf的博客 1万+

车载摄像头EMC问题剖析

车载摄像头作为智能驾驶核心部件,其EMC问题日益突出。某案例中,摄像头在48MHz~175MHz频段辐射超标。通过控制变量法排查,发现网络变压器地环路和共模抑制不足是主因。整改措施包括优化接地隔离、增加共模滤波器和使用屏蔽网线,最终通过EMC测试。案例表明,EMC问题需从系统耦合角度解决,建议设计阶段预防地环路,在高速信号链中加入滤波隔离措施。全文150字。

硬核科技 273

深度学习入门详解:从基础到实践(含代码示例)

深度学习是基于神经网络的学习方法,模型通过多层神经元(或称为层)逐层提取数据特征。在传统机器学习中,特征提取依赖于人工,而深度学习通过层层的特征学习,能够自动发现隐藏在数据中的复杂模式。深度学习作为人工智能的重要技术分支,为解决许多复杂问题提供了强大的工具。在学习的过程中,理解基础概念、掌握框架工具、实践代码实现是关键。通过不断的学习与实践,你将逐步掌握这一领域,并将深度学习应用到实际项目中,开启属于你的AI之旅。

weixin_47216888的博客 7750

10、犹豫双模糊TOPSIS算法:原理与实例解析

本文介绍了犹豫双模糊TOPSIS算法的基本原理与应用步骤,结合中国四家纺织公司的案例,详细解析了从构建犹豫双模糊决策矩阵、归一化处理、专家信息聚合,到确定正负理想解、计算距离与相对贴近度系数的完整决策流程。该方法有效应对决策者在评价过程中的犹豫性,适用于财务评估、项目选择等复杂多属性决策场景,具有较强的实用性和推广价值。

yhn45678901的博客 124

深度学习教程(1) | 深度学习概论(吴恩达·完整版)

本篇为深度学习系列教程的引言,以房价预测为例,讲解神经网络(Neural Network)模型结构和基础知识,并介绍针对监督学习的几类典型神经网络:Standard NN,CNN和RNN等知识

ShowMeAI研究中心 1万+

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

吴恩达老师深度学习课程完整笔记

为了方便学习深度学习课程,转载一个吴恩达老师的一个深度学习笔记,转载的网站是下面这个 https://blog.youkuaiyun.com/red_stone1/article/details/80207815 从去年8月份开始,AI界大IP吴恩达在coursera上开设了由5们课组成的深度学习专项课程,掀起了一股人工智能深度学习热潮。这里附上deeplearning.ai的官网: deeplearnin...

Miracle8070 6万+

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Coursera吴恩达《深度学习》课程总结(全)

01 神经网络和深度学习(Neural Networks and Deep Learning) 1-1 深度学习概论 主要介绍:主要对深度学习进行了简要概述。首先,我们使用房价预测的例子来建立最简单的单个神经元组成的神经网络模型。然后,我们将例子复杂化,建立标准的神经网络模型结构。接着,我们从监督式学习入手,介绍了不同的神经网络类型,包括Standard NN,CNN和RNN。不同的神经网络模型适合处理不同类型的问题。对数据集本身来说,分为结构化数据和非结构化数据。近些年来,深度学习对非结构化数据的处理

csdn_xmj的博客 5万+

深度学习教程 | 深度学习的实用层面

当ε\varepsilonε越小时,结果越接近真实的导数,也就是梯度值。可以使用这种方法来判断反向传播进行梯度下降时,是否出现了错误。当ε\varepsilonε越小时,结果越接近真实的导数,也就是梯度值。可以使用这种方法来判断反向传播进行梯度下降时,是否出现了错误。

weixin_42907150的博客 1120

2020-5-15 吴恩达DL学习-改善深层NN-第一周 深度学习的实用层面

1.视频网站:mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c 2.详细笔记网站(中文):http://www.ai-start.com/dl2017/ 3.github课件+作业+答案:https://github.com/stormstone/deeplearning.ai 第一周 深度学习的实用层面 Setting up your ML application1.1 训练/开发/测试集 Train/dev/test set

weixin_42555985的博客 310

深度学习-深度学习的实用层面 吴恩达第二课第一周作业3答案(Initialization)

import numpy as np import matplotlib.pyplot as plt import sklearn import sklearn.datasets from init_utils import sigmoid, relu, compute_loss, forward_propagation, backward_propagation from init_utils...

Brianone的博客 816

深度学习教程 | 吴恩达专项课程 · 全套笔记解读

本篇内容是组织的「深度学习原理知识大全」系列教程入口,教程依托吴恩达老师《深度学习专项课程》,对内容做了重新梳理与制作,以更全面和直观的图文方式,对深度学习涉及的知识、模型、原理、应用领域等进行详解......

ShowMeAI研究中心 1万+

吴恩达(深度学习的实践层面)

这周已经正式结束了深度学习的第一门课程(深度学习与神经网络),开启了深度学习第二门课程(改善深层次的神经网络——超参数(α学习率、隐藏层单元数、隐藏层层数、激活函数的选择、梯度下降迭代的次数)的调整、正则化以及优化)。

qq_53386557的博客 1037

吴恩达深度学习笔记 最全最详细!这一篇足够了!

为了方便学习深度学习课程,转载一个吴恩达老师的一个深度学习笔记,转载的网站是下面这个 https://blog.youkuaiyun.com/red_stone1/article/details/80207815 从去年8月份开始,AI界大IP吴恩达在coursera上开设了由5们课组成的深度学习专项课程,掀起了一股人工智能深度学习热潮。这里附上deeplearning.ai的官网: deeplearning.ai 关于该深度学习专项课程,本人非常推荐!它对于理解各种算法背后的原理非常有帮助,同时提供了大

是木子啦~ 1万+

吴恩达deeplearning.ai深度学习课程空白作业

  吴恩达deeplearning.ai深度学习课程的空白作业,包括深度学习微专业五门课程的全部空白编程作业,经多方整理而来。网上找来的作业好多都是已经被别人写过的,不便于自己练习,而且很多都缺失各种数据文件,找起来费时费力。所以我特地整理了一遍,搞到全部空白作业与所有的数据文件,并上传到优快云,欢迎下载:   https://www.baidu.com/ .........

ccgcccccc的博客 1万+

吴恩达深度学习教程——中文笔记网上资料整理

深度学习笔记目录 课程地址:https://mooc.study.163.com/university/deeplearning_ai#/c 专栏: https://blog.youkuaiyun.com/shikong_/article/category/7288516 https://blog.youkuaiyun.com/zc...

Superstar02的博客 1446

吴恩达深度学习——深度学习的实用指南

文章目录引言构建数据偏差与方差训练神经网络的基本方法正则化为什么正则化可以减少过拟合 引言 本文是吴恩达深度学习第二课:改善深层网络的笔记。这次内容包括深度学习的实用技巧、提高算法运行效率、超参数调优。 第二课有以下三个部分,本文是第一部分。 深度学习的实用技巧 提高算法运行效率 超参数调优 构建数据 在训练神经网络时,我们要做许多决策: 网络的层数 隐藏层的单元数 学习率的取值 激活函数的选择 … 我们不可能一开始就知道合适的结果,实际上应用深度学习是一个典型的迭代过程。 一开始可能有一个初步

日积月累,天道酬勤 1648

跟着吴恩达学深度学习(二)

本文对应了吴恩达深度学习系列课程中的第二门课程《改善深层神经网络:超参数调试、正则化以及优化》深度学习的实用层面优化算法超参数调试、Batch正则化和程序框架.

Zhoozie的博客 1251
上一篇: 深度学习教程(4) | 深层神经网络(吴恩达·完整版)
下一篇: 深度学习教程(6) | 神经网络优化算法(吴恩达·完整版)
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值