【CS231n笔记】06 Training Neural Networks, Part 2

[Lecture 7 ] Training Neural Networks II(训练神经网络II) 文章目录课堂问答1. 更好的优化 (Fancier optimization)1.1 SGD 优化1.2 基于动量的(Momentum)SGD1.3 AdaGrad1.4 Adam1.5 学习率的选择1.6 二阶优化(Second-Order Optimization)1.7 模型集成2. 正则化 (Regularization)2.1 权重约束2.2 随机失活(Dropout)2.3 局部最大... 阅读详情

1.参数更新
2.学习率更新
3.模型整合(model ensembles)
4. Dropout
5. 梯度检查
6.卷积神经网络简史及应用

1.参数更新
训练一个神经网络的主要流程如下:
这里写图片描述
a.简单梯度下降(SGD)
这里写图片描述
Q:假设损失函数在垂直方向上陡峭而在水平方向上平缓,那么使用SGD来进行损失函数最小化时的收敛轨迹是怎样的?
这里写图片描述
A:在比较平缓的方向上行进缓慢,而在陡峭方向上则会不停震荡,如下图所示:
这里写图片描述

b.动量(Momentum)
这里写图片描述
物理解释:更新如同一个球在损失函数曲线上滑动,动量更新系数相当于加上摩擦力,而学习率和梯度的乘积可以视作“加速度”。
动量更新系数一般取0.5、0.9、0.99,有时也会随时间进行退火处理,例如从0.5->0.99
这里写图片描述
梯度在平缓维度上方向一致,“加速度”一直为正,经过累加会增大在平缓维度上的收敛速度;
梯度在陡峭维度上频繁变换方向,“加速度”的符号也经常变化,会逐渐减小在陡峭维度上的收敛速度。
利用momentum进行优化的时候可能会越过最优点,但是总体的收敛速度比SGD要快得多,而且可以减轻震荡。

c.Nesterov accelerated gradient (NAG)
NAG是对momentum的改进。
由于动量的加入,最优化时可能会越过最优点,虽然随后仍然可以收敛至最优点,但总是有些不尽人意。就如同一个球在山坡上滚下,一味沿着梯度向下冲并不理想,如果这个球更加“智能”,可以提前预知下一步的位置,进而可以在到达谷底之前降低速度,以便更快的稳定在谷底,即最优点。
这里写图片描述
由上图可以看出,NAG相对于momentum的唯一不同就是在计算梯度时加入一项—前一刻的加速度,这就相当于一个预知,根据之前的加速度预测当前位置,在预测的位置求取梯度,计算当前的加速度,最后对参数进行更新。当即将收敛到最优点时,预测的位置就会越过最优点,此时计算的梯度和之前的梯度符号相反,加速度随即减小,所以参数更新减缓,越过最优点的情况得到改善,因此NAG比momentum的收敛速度要更快一点。
出于计算的方便,一般对上述公式做变形如下:
这里写图片描述

d.AdaGrad update
前面的两种算法可以增大SGD的收敛速度,但是我们希望不同参数上可以自适应的调节更新速度,即自适应调节各自的学习率,在不常出现的参数上更新幅度大一些,在频繁出现的参数上更新幅度小一些。所以AdaGrad更新算法非常适合处理稀疏数据。
具体实现如下:
这里写图片描述
红色框中即在SGD基础上添加的处理项。在求取梯度时添加了一个元素级的缩放因子,它基于所属维度上的历史梯度的平方和。
这里写图片描述
Q:以上图所示损失函数为例,AdaGrad的更新趋势是怎样的?
A:垂直方向上的梯度很大,cache会快速增大,因此垂直方向上的学习率会快速减小,所以垂直方向上的更新步长会越来越小;而水平方向上梯度很小,相对于垂直方向上学习率会大得多,所以水平方向上的更新更快。这就实现了不同梯度上的补偿。
Q2:经过长时间之后更新步幅会发生什么变化?
A2:由于catch的增量是平方,所以会一直增大,最终会造成更新步长趋于零,完全停止学习。但是在训练神经网络中我们希望不断更新从而优化网络。

e.RMSProp update
RMSProp更新算法是对AdaGrad更新算法的改进,主要就是解决更新步长趋于零导致停止学习的问题。
主要改进如下:
这里写图片描述
添加一个衰减系数,将cache变成一个泄露的变量,cache的值只与前面一段时期的梯度有关而不是历史梯度的平方和,这样既保持了在不同梯度上的补偿效果,又不会造成学习停止的问题。
衰减系数一般设置为0.9。

f.Adam update
“强强联合”Momentum+RMSProp
这里写图片描述
与RMSProp的区别在于用前一段时期梯度的动量替换当前梯度,这样可以稳定梯度方向,并且自适应更新幅度,所以效果拔群。
超参数beta1一般设置为0.9,beta2一般设置为0.995。
但上面并非完整形式,完整的计算过程如下:
这里写图片描述
加入偏置矫正(bias correction),用来对m,v初始化为零进行补偿,只在最初很短的时期起作用。
0.9^50≈0.005,0.995^1000≈0.0067

另外还有二阶优化算法如牛顿法(Newton)、拟牛顿法BFGS、L-BFGS(Limited memory BFGS)等。优点是不需要设置超参数如学习率,缺点是需要计算Hessian矩阵,不适用于深度神经网络。其中L-BFGS不需要存储Hessian矩阵和逆矩阵,但是容易受到随机性和样本噪声的干扰,不适合用于规模较大样本集。

实际应用:
— Adam在多数情况下都是一个不错的选择
— 如果可以在整个样本上进行更新,并且去除所有噪声源,那么可以考虑使用L-BFGS。

2.学习率更新
不论何种更新算法(SGD、SGD+Momentum、AdaGrad、RMSProp、Adam),均有学习率这一最重要的超参数。
Q:什么样的学习率是最优的呢?
这里写图片描述
A:以上均不是最优情况。应该在学习过程中不断调节学习率,起始阶段使用较大的学习率加速收敛过程,然后逐渐衰减以收敛到到最优值。
常用的学习率衰减策略有步进衰减、指数衰减、1/t衰减等。
这里写图片描述

3.模型整合(model ensembles)
在测试阶段,可以使用模型整合的策略,具体如下:
1)独立训练多个模型;
2)在测试阶段将所有模型的结果进行平均作为最终的结果。
一般来说,模型整合可以提高2%的性能效果。
但是,训练大量的模型本就繁琐,在测试阶段也很耗时。

实用技巧:
— 可以不需要独立训练多个模型,保存单个模型不同阶段的checkpoint,将这些checkpoint作为独立模型进行整合。
— 跟踪运行期平均(running average)参数向量,并应用于测试集。
这里写图片描述
这就相当于对之前一段时间的参数进行加权,所得到的效果一般总会比单独使用一个时间点的参数要好。可以解释如下,设想对一个碗状函数进行优化,在最低点周围不停移动,如果对这些点做平均,一般会更接近最低点,即最优点位置。

  1. Dropout
    Dropout是一种正则化方法。
    在前向传播时随机将一部分神经元的值置为零。
    这里写图片描述
    以一个三层神经网络为例,下面是在前向传播时使用dropout的示例代码:
    这里写图片描述
    在每一层的后面随机生成一个概率为p的失活掩码,这里的p是神经元的存活几率,因此每个神经元会有(1-p)的概率被舍弃。

Q:为什么说dropout是一个好主意?
A:使用dropout可以在每次训练时抽取一个神经元数量少(1-p)的子网络, 模型变小,其表达能力相应变小,因此发生过拟合的情况就会减少,即dropout可减少发生过拟合的概率。

Dropout可以有如下解释:
1)强迫网络对输入学习冗余的表示
这里写图片描述
以上图学习对猫的表示为例,由于dropout会随机另一部分神经元失活,所以网络无法依赖某个或少量神经元来完全表示概念,那样在相关神经元失活时便不能进行准确预测。所以网络会学习更多表示,以保证在部分神经元失活时仍然可以做出准确的预测。
2)模型整合
Dropout可以理解为将大规模网络结构不同但参数共享的模型进行整合,以提升模型性能。
每个二值掩码都会产生一个不同结构的网络,由于随机性,每个网络几乎只会被训练一次,但是所有网络是共享参数的。

那么在测试阶段应该如何处理使用了dropout的网络呢?
在测试阶段只需要运行一次前向传播,所有神经元都处于激活状态,即在测试阶段不使用dropout,可以近似理解为对所有“子模型”进行整合。
Q:假设在测试阶段神经元的输出为x,那么在训练阶段该神经元的期望输出是多少?(假设p=0.5)
A:具体计算如下:
这里写图片描述
由上面的计算可以看出,p=0.5时,测试阶段的所有输入经过前向传播后的激活值是训练时的两倍,所以要通过对测试阶段的激活值进行缩放来进行补偿。所以测试阶段的实现代码如下:
这里写图片描述
在测试阶段,对所有神经元的激活值进行缩放,使得测试阶段的输出=训练阶段的期望输出。
但是上述操作在实际中并不常用,一般常用“反向失活”(inverted dropout)
这里写图片描述
这样在测试阶段就不需要做额外的处理。

  1. 梯度检查
    具体见http://cs231n.github.io/neural-networks-3/Gradient Check 章节
    主要是利用数值梯度来验证解析梯度的正确性。

6.卷积神经网络简史及应用
生物视觉机制

分层结构(hierarchical organization)
这里写图片描述

神经认知机(Neurocognitron)

LeNet、AlexNet

应用:
分类(Classification)
检索(Retrieval)
检测(Detection)
语义分割(Segmentation)
自动驾驶(self-driving cars)
人脸识别
姿态识别
图像描述(Image captioning)
… …

[机器学习速成课程] 训练神经网络 (Training Neural Networks):编程练习-学习笔记 提高神经网络性能学习目标:通过将特征标准化并应用各种优化算法来提高神经网络的性能注意:本练习中介绍的优化方法并非专门针对神经网络;这些方法可有效改进大多数类型的模型。导入,与之前一样import math from IPython import display from matplotlib import cm from matplotlib import gridspec from matpl... 阅读详情

相关推荐

CS231n课程笔记7:卷积神经网络入门

CS231n简介详见 CS231n课程笔记1:Introduction。 注:斜体字用于注明作者自己的思考,正确性未经过验证,欢迎指教。课程笔记因为卷积神经网络这个部分涉及繁多,也有不少无法用语言详细解释的细节,所以迟迟没有动笔。这次刚好帮老师做了这部分的PPT,就直接把PPT的部分转化过来,也保留了PPT的逻辑,只能说简单介绍了卷积神经网络,详细的部分会在以后的课程笔记中陆续的补充。 以下内

silent56_th的博客 1895

【吴恩达机器学习笔记】Part2-Week2 神经网络训练(Neural Network Training)

TensorFlow,激活函数,softmax算法,多输出分类,卷积层

hotpants的博客 610

吃透 AM32 无人机电调:从源码架构到工作原理的全方位解析(附实践指南)(上)

本文深入解析了AM32电调固件的源码架构与核心模块实现。文章首先介绍了AM32电调作为开源无人机;动力心脏的重要地位,随后从硬件基础、源码目录、模块划分三个维度构建解析框架。重点剖析了系统初始化模块的时钟配置、GPIO初始化和定时器设置,以及FOC控制模块的坐标变换算法、角度估算和SVPWM生成等关键技术实现。通过逐行代码解析,揭示了电调如何将飞控指令转换为电机驱动的完整过程,为开发者理解AM32电调工作原理提供了系统性指导。

bother3000的博客 6579

matlab中的Neural Network  Training(nntraintool)界面的解释

1,Neural Network     这里显示的是输入大小,中间层数量以及每层的神经元个数。 2,Algorithms (括号中的灰色字体都是链接,可以查看)   Training:RProp。这表示学习训练函数。   Performance:Mean Squared Error。这表示性能用均方误差来表示。   Calculations: MEX。暂时没发现用处。    ...

yangtuanzi1118的博客 2万+

【过检测】2026调试级去虚拟化虚拟机成品

EternalBlaze调试级虚拟机是由恒烈开发的定制化VMware环境,适用于逆向工程、病毒分析等专业场景。该虚拟机基于Windows 10 1909专业版,预装Python/JDK等开发环境和逆向工具包,支持快照回溯功能。特色包括:一键去虚拟化方案、双机调试支持、驱动开发环境等。适用场景涵盖CTF竞赛、软件调试、病毒行为分析等,但不支持DX12游戏和视频盗录。使用前需按步骤关闭安全中心、安装特定VMware版本并执行去虚拟化操作。虚拟机提供基础版和逆向调试增强版两种配置,均预装必要工具链。(149字)

Heng_lie的博客 2684

Flutter for web 首次加载过慢问题优化

Flutter web 加载慢优化

Bright_TY的专栏 7836

【CS231n笔记】05 Training Neural Networks, Part I

【CS231n笔记】05 Training Neural Networks, Part 1

Bin Learning 466

【HSCNN解析】HSCNN:从欠采样光谱图重建高光谱图的CNN网络

本文介绍HSCNN,是一个将欠采样光谱图重建为高光谱图的纯CNN网络,2017年提出。

上个大学哪有不疯的?硬撑罢了! 1626

机器学习入门15 - 训练神经网络 (Training Neural Networks)

原文链接:https://developers.google.com/machine-learning/crash-course/training-neural-networks/ 反向传播算法是最常见的一种神经网络训练算法。借助这种算法,梯度下降法在多层神经网络中将成为可行方法。TensorFlow 可自动处理反向传播算法,因此不需要对该算法作深入研究。 1- 最佳做法 1.1 失败案例 ...

weixin_33704234的博客 279

合规批量下载美国上市公司年报数据的一些经验和总结

本文总结了使用Python脚本批量下载和处理美国上市公司SEC报告的技术经验。通过CIK代码查询SEC EDGAR系统,生成特定日期和报告类型的URL,并使用Selenium和Requests库下载报告内容。流程包括数据获取、文件下载、Excel处理和多线程优化,确保高效处理几百条数据。关键技术挑战包括SEC访问限制、动态网页内容和数据完整性,解决方案包括设置合规的User-Agent、使用Selenium模拟浏览器行为以及错误日志记录。最佳实践包括模块化设计、多线程优化和严格遵守SEC合规性。该自动化流程

jyfool的博客 1641

全面讲解电子齿轮比与脉冲数计算

什么是编码器分辨率。

viixin的博客 1万+

神经网络(Neural Network)—由浅入深的学习并搭建一个属于自己的神经网络(干货满满)

近段时间花了大概一周的时间将《Make Your Own Neural Network》这本书仔细阅读了一遍,同时也浏览了它对应的中文版本《Python神经网络编程》。书中有少数几个错误,认真阅读自己能检查出来,这几个错误不会妨碍你学习神经网络。不得不说,这本书写的确实很详细,很适合小白入门Neural Network(简称NN),我之前也上机器学习的课学过神经网络,但远没有看完这本书理解的深刻。看完了确实收获很大,在此仔细总结一下学到的核心知识,帮助大家更好的理解神经网络。

m0_66360845的博客 1253

【雕爷学编程】Arduino动手做(45)---红外光电避障传感器模块4

雕爷学编程,Arduino动手做,开源硬件,创客传感器,红外光电避障传感器模块

雕爷学编程 2505

stanford_CS231n_learning note_Lec_06 Training Neural Networks, Part2

Lec_6_Training Neural Networks, Part IIHappy Moment: 功夫老鼠—看我的锁喉功Parameter UpdatesThe common methodUpdate problem-1 TOO SLOWMomentum update Physical interpretation as ball rolling down the loss function

专注机器学习之路 885

ER图从入门到精通:数据库建模全攻略

本文为数据库建模领域的 ER 图全面指南,系统解析从基础概念到实战应用的核心要点。首先介绍 ER 图的定义、三大组成元素(实体、属性、关系)及三种基础关系类型(一对一、一对多、多对多);其次详解绘制流程,涵盖工具选择(如 Visio、PowerDesigner)、需求分析方法及实体 - 属性 - 关系的分步建模技巧;进一步探讨弱实体、复合属性等高级概念,结合范式理论讲解模型优化策略;针对实体属性混淆、关系类型误判等常见问题提供解决方案;最后通过电商系统、图书馆管理系统等实际案例展示 ER 图设计全流程。

邓邓子的博客 4216

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

[CS231n-CNN] Training Neural Networks Part 1 : activation functions, weight initialization, gradient...

课程主页:http://cs231n.stanford.edu/ Introduction to neural networks -Training Neural Network ________________________________________________________________________________________________...

weixin_30549657的博客 134

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

cs231n学习笔记——六.Training Neural Networks 神经网络的训练

周末偷懒了w新的一周继续~ 这节课主要将训练神经网络,讲到训练不可避免的要讲的就是激活函数了 6.1 激活函数 放了几个用的比较多的 首先是sigmoid,sigmoid激活函数有三个问题 1)梯度消失,sigmoid函数只有0附近的极小区域能够有效的保留梯度 2)sigmoid非零中心,这会导致训练效率比较低 3)因为引入了exp()的计算,计算代价比较大(当然和卷积相比无足轻重了) 然后就有了tanh tanh解决了零对称的问题,但是依旧存在梯度消失的问题,所以引入了ReLU ReLU在正值区

qq_34734252的博客 724

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Training Neural Networks, part I

Part I : - Activation Functions - Data Preprocessing - Weight Initialization - Batch Normalization - Babysitting the Learning Process - Hyperparameter Optimization    Activation Functio...

likyoo的博客 441

[6]Training Neural Network—训练神经网络

激活函数 在-10和10 时候导数会变成接近0 不为0为中心,如果都是输入都是正或者都是负,w会一直向最优的更新,但是需要很多次,如蓝色的图十分低效,陷入导数更新的问题 正无穷输入不会饱和,导数不会为0,计算的效率很快 负半部分还是饱和的,有一半的导数没意义了。并且不是0为中心 数据预处理 一般将数据归零化,标准化 在机器学习中,可能有更复杂的东西,比如pca(主成分分析)或者白化,但同样对于图像,我们通常只坚持零均值,我们不做标准化,也不做更复杂的预处理,因为我们并不真正想要获取所

叶说喜欢你的博客 812

Week5_1Neural Networks Learning

Week5_1Neural Networks Learning Week5_1Neural Networks Learning 第 1 题 第 2 题 第 3 题 第 4 题 第 5 题 第 1 题 You are training a three layer neural network and would like to use backpropagation t...

wangcong02345的专栏 3695

深度学习——第二篇(卷积神经网络基础)

本文结合课堂学习内容和一篇CNN综述文章(参考文献3)对CNN进行了总结,包括其卷积运算、各种操作、参数计算,以及文献3中所详述的CNN结构的演化史,最后对1998年发表的经典网络LeNet的每一层进行了简要分析。

伊蒂哈德的三岁小球童的博客 996

Binarized Neural Networks:Training Deep Neural Networks with Weights and Activations -1,1

文章链接:Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 这是2016年的一篇关于模型量化的文章。 1、背景: 在网络量化中,有一种极为诱惑的量化方式:1bit量化——极致的压缩!但是1bit的网络在训练时有诸多细节需要完...

langzi453的博客 2415

Coursera Machine Learning 第五周 quiz Neural Networks: Learning

1.  You are training a three layer neural network and would like to use backpropagation to compute the gradient of the cost function. In the backpropagation algorithm, one of the steps is to

OovEver的专栏 8385

Domain-Adversarial Training of Neural Networks

本篇是迁移学习专栏介绍的第十八篇论文,发表在JMLR2016上。 Abstrac 提出了一种新的领域适应表示学习方法,即训练和测试时的数据来自相似但不同的分布。我们的方法直接受到域适应理论的启发,该理论认为,要实现有效的域转移,必须基于不能区分训练(源)域和测试(目标)域的特征进行预测。 该方法在神经网络体系结构的上下文中实现了这一思想,神经网络体系结构的训练对象是源域的标记数据和目标域的未...

gdtop的个人笔记 2万+

谷歌机器学习速成课程笔记 15(Training Neural Networks -训练神经网络)

在思考如何训练神经网络是,首先我们需要了解哪些信息是与反向传播有关的。 (我们不需要了解反向传播的实施方式/原理机制,因为tensorflow 会为我们做好) 首先,反向传播确实依赖于梯度这个概念——事物必须是可微的(函数中存在一两个小的间断点没关系)这样我们才能够使用神经网络进行学习。 另外,要注意,梯度可能会消失。如果我们的网络太过深入,信噪比随着您深入模型而变差,那么学习速度可能会...

Never let it go. 477

CNN笔记(CS231N)——训练神经网络II(Training Neural Networks, Part 2)

训练神经网络 我们接着上一讲继续,这一讲主要讲的是优化、正则化与迁移学习 高级优化 我们首先来看看传统的随机梯度优化有什么问题,如果损失函数在一个维度上梯度比较小,在另一个维度上梯度比较大,那么这种情况下就会出现沿着梯度小的维度变化缓慢,另一个方向变化迅速,出现如下图这种震荡现象导致收敛缓慢 除此以外就是局部最小值与驻点的问题,局部最小值在多维特征的情况下出现的几率比较小,最常见的是驻...

shanwenkang的博客 560
上一篇: 【CS231n笔记】05 Training Neural Networks, Part I
下一篇: 【CS231n笔记】07 Convolutional Neural Networks
binlearning
博客等级 码龄10年 10粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值