【CS231n笔记】05 Training Neural Networks, Part I

CS231n Lecture 7 Training Neural Networks part 1 overview 1.一次设置 激活函数,预处理,权重初始化,正则化,梯度检查 2.训练时动态调整 迁移学习,参数更新,超参数优化 3.评估 model ensembles, test-time augmentation 文章目录overview激活函数Sigmoid 函数tanh(x)ReLU家族Maxout Neuron数据预处理权重初始化Batch NormalizationBabysitting the Learning Process 激活函数 与神经细胞类比: 从神经元轴突传来数据(x0)到达 阅读详情

0.简史
1.激活函数
2.数据预处理
3.权值初始化
4.Batch Normalization
5.训练流程
6.超参数优化

0.简史
Frank Rosenblatt, ~1957: Perceptron 硬件实现
Widrow and Hoff, ~1960: Adaline/Madaline 硬件实现
Rumelhart et al. 1986: First time back-propagation became popular 反向传播的提出
Hinton and Salakhutdinov, 2006: Reinvigorated research in Deep Learning 逐层预训练+整体微调
George Dahl, Dong Yu, Li Deng, Alex Acero, 2010:《ontext-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition》 语音领域突破
Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, 2012: 《Imagenet classification with deep convolutional neural networks》图像领域突破

1.激活函数(Activation Functions)
上一节中已经粗略介绍过常用的激活函数,现在详细考察每个激活函数的优缺点。
(1)Sigmoid函数
这里写图片描述
将数值挤压到[0,1]区间
契合生物神经元的饱和激活率形式,早期得到广泛应用
缺点
饱和区域的导数几乎为零,造成反向传播中的梯度消失现象
输出不是关于原点对称的,影响收敛速度
指数运算exp()稍微耗时
(2)双曲正切函数tanh
这里写图片描述
将数值挤压到[-1,1]区间
优点
输出关于原点对称
缺点
饱和区域导数几乎为零,造成反向传播中的梯度消失现象
(3)修正线性单元(Rectified Linear Unit,ReLU)
这里写图片描述
优点
在输出为正时不存在饱和区域
计算复杂性低
收敛速度比sigmoid/tanh快很多,约6倍
缺点
不是关于原点对称的
在输出为负时梯度为零,反向传播不会更新梯度值
另
dead ReLU现象,主要有两种原因:一是初始化时即使得ReLU进入未激活状态,所以一般初始化ReLU神经元的偏置为小的正值(如0.01);二是由于学习率太大,参数更新使得函数值进入负值区域,这样的失活一般不可逆。
(4)Leaky ReLU
这里写图片描述
优点
没有饱和区域
计算快速
收敛速度快
不会失活
(5)Parametric Rectifier (PReLU)
f(x) = max(ax, x)
(6)Exponential Linear Units (ELU)
这里写图片描述
优点
具有ReLU函数的所有优点
不会失活
输出近似零均值
缺点
需要指数计算
(7)Maxout “Neuron”
计算方式不同于以往
优点
没有ReLU的缺点,仍然是分段线性,但不会饱和,不会失活。
缺点
参数/神经元的数量翻倍

实际应用建议:
— 使用ReLU,但是要注意学习率
— 尝试使用Leaky ReLU / Maxout / ELU
— 尝试使用双曲正切(tanh),但不一定会有好的效果
— 不要使用Sigmoid

2.数据预处理
常用的预处理有:均值减除、归一化、PCA、白化(whitening),处理后效果如下图所示:
这里写图片描述

这里写图片描述

实际应用建议:
对于图像来说,只进行中心化处理就可以
— 减去均值图像,例如AlexNet
均值图像为[H,W,C]的数组
— 减去每个通道的均值,例如VGGNet
均值在每个通道上对应一个数值,共三个
一般不会做标准化,而是使用PCA或者白化处理。

3.权值初始化
Q:如果所有权值初始化为零会怎样?
A:所有权值初始化为零,那么所用神经元的前向-反向传播计算全部一样,所以不可用。
那么考虑用很小的随机数来进行权值初始化。一般是使用从均值为零,标准差很小的高斯函数中随机选取。
这种初始化方法是可行的,但是随着网络层数的增加,这种简单的初始化方法会导致激活函数非均匀分布。

通过一个程序来考察激活函数统计情况,10层神经网络,每层500个神经元,使用不同初始化方法和激活函数。
(1)初始化W = np.random.randn(fan_in, fan_out) * 0.01
激活函数tanh
这里写图片描述
(2)初始化W = np.random.randn(fan_in, fan_out) * 1.0
激活函数tanh
这里写图片描述
(3)初始化Xavier W = np.random.randn(fan_in, fan_out) / np.sqrt(fan_in)
激活函数tanh
这里写图片描述
(4)初始化Xavier W = np.random.randn(fan_in, fan_out) / np.sqrt(fan_in)
激活函数ReLU
这里写图片描述
(5)初始化W = np.random.randn(fan_in, fan_out) / np.sqrt(fan_in/2)
激活函数ReLU
这里写图片描述
与Xavier对比
W = np.random.randn(fan_in, fan_out) / np.sqrt(fan_in)
W = np.random.randn(fan_in, fan_out) / np.sqrt(fan_in/2)
这里写图片描述
研究初始化问题的相关论文:
Understanding the difficulty of training deep feedforward neural networks
Exact solutions to the nonlinear dynamics of learning in deep linear neural networks
Random walk initialization for training very deep feedforward networks
Delving deep into rectifiers: Surpassing human-level performance on ImageNet Classification
Data-dependent Initializations of Convolutional Neural Networks
All you need is a good init
…

4.Batch Normalization
“you want unit gaussian activations? just make them so.”
对于某些层的一个批次的激活函数值,可以通过下面计算使得每个维度都符合单元高斯分布:
这里写图片描述
i)计算每个维度上的均值和方差
ii)归一化

一般是置于全连接层或卷积层之后,非线性激活函数之前。
这里写图片描述

Normalize可以调整网络的输出范围
这里写图片描述
其中γ和β是可训练的,可以恢复到恒等映射。

处理步骤:
这里写图片描述
优点
— 提升梯度
— 可以允许较大的学习率
— 减轻对初始化的依赖
— 具有正则化的效果,可以不再使用dropout

注意
在测试阶段BatchNorm层与训练阶段不一致
均值和标准差的计算并不基于该批次中的数据,而是使用训练阶段的均值和标准差的平均值。

5.训练流程
(1)数据预处理
(2)确定网络架构
注:可以通过两次检查损失函数来判断架构是否正确。
a)不使用正则项,loss≈log(#classes)
b)调高正则项系数,loss应该会增大

现在可以开始训练。
先确保模型在小部分的训练数据上可以过拟合。
i)选取少量训练数据
ii)不使用正则项
iii)使用简单的SGD优化方法
最终loss极小,准确率为1。

一般可以选择较小的正则项系数,并选择可以让loss变小的学习率。
如果loss不变小,则可能是因为学习率太小。
学习率也不能太大,否则loss会变成NaN。

一般的学习率的合理范围是[1e-3,…,1e-5]

6.超参数优化
(1)交叉验证策略(Cross-validation strategy)
可以采用从粗略到精细的交叉验证策略。
i)只运行几个epoch,得到对超参数的粗略认识
ii)运行更长时间,更加精细的搜索
…可重复进行该过程

如果损失大于原损失三倍以上,终止训练。

随机搜索 vs. 网格搜索 (Random Search vs. Grid Search)
这里写图片描述

一般所需设置的超参数:
— 网络架构
— 学习率,以及其衰减进度和更新方式
— 正则化方法,以及其强度,例如L2的系数,Dropout的丢弃率

损失曲线可视化
这里写图片描述

主要怀疑是由初始化差造成的损失曲线的表现
这里写图片描述

各种不同的损失函数变化趋势 lossfunctions.tumblr.com
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

准确率趋势可视化
这里写图片描述
如果训练集上的准确率和测试集上的准确率相差太大,则说明是过拟合(overfitting),可以增加正则化强度;如果没有差距,则可能需要增加模型容量。

追踪权值更新值与权值大小的比例 update_scale / param_scale,一般来说0.001左右为好。

概要
— 激活函数(使用ReLU)
— 数据预处理(对于图像进行减除均值处理即可)
— 权值初始化(使用Xavier)
— Batch Normalization(使用)
— 训练流程
— 超参数优化(在合适的对数空间随机选取)

[Lecture 7 ] Training Neural Networks II(训练神经网络II) 文章目录课堂问答1. 更好的优化 (Fancier optimization)1.1 SGD 优化1.2 基于动量的(Momentum)SGD1.3 AdaGrad1.4 Adam1.5 学习率的选择1.6 二阶优化(Second-Order Optimization)1.7 模型集成2. 正则化 (Regularization)2.1 权重约束2.2 随机失活(Dropout)2.3 局部最大... 阅读详情

相关推荐

[机器学习速成课程] 训练神经网络 (Training Neural Networks):编程练习-学习笔记

提高神经网络性能学习目标:通过将特征标准化并应用各种优化算法来提高神经网络的性能注意:本练习中介绍的优化方法并非专门针对神经网络;这些方法可有效改进大多数类型的模型。导入,与之前一样import math from IPython import display from matplotlib import cm from matplotlib import gridspec from matpl...

qq_20039347的博客 1514

【吴恩达机器学习笔记】Part2-Week2 神经网络训练(Neural Network Training)

TensorFlow,激活函数,softmax算法,多输出分类,卷积层

hotpants的博客 610

Understanding the difficulty of training deep feedforward neural networks

Understanding the difficulty of training deep feedforward neural networks

matlab中的Neural Network  Training(nntraintool)界面的解释

1,Neural Network     这里显示的是输入大小,中间层数量以及每层的神经元个数。 2,Algorithms (括号中的灰色字体都是链接,可以查看)   Training:RProp。这表示学习训练函数。   Performance:Mean Squared Error。这表示性能用均方误差来表示。   Calculations: MEX。暂时没发现用处。    ...

yangtuanzi1118的博客 2万+

CS231n - Convolutional Neural Networks for Vision Recognition

斯坦福大学14-15年秋季课程《CS231n: Convolutional Neural Networks for Visual Recognition》的讲义材料,英文版。我把它做成了PDF,带目录,方便阅读和打印。

WPS Office 2026免费安装指南:AI办公与安全使用全解析

办公软件作为数字化办公的核心工具,其基本原理是通过文档处理、数据计算和演示展示等功能模块满足用户日常办公需求。随着人工智能技术的发展,现代办公软件逐步集成AI能力,通过自然语言处理和数据分析算法提升工作效率。在技术价值层面,优秀的办公软件不仅需要保持格式兼容性和跨平台同步能力,更要注重用户数据安全防护。从应用场景来看,无论是个人文档编辑、企业报表分析还是团队协作演示,办公软件都发挥着关键作用。WPS Office 2026作为国产办公软件代表,深度融合AI助手功能,支持智能写作和数据分析,同时通过官方免费策

weixin_30599769的博客 744

【CS231n笔记】06 Training Neural Networks, Part 2

【CS231n笔记】06 Training Neural Networks, Part 2

Bin Learning 561

SAP FICO实操:如何修改已发生业务数据的成本中心公司代码(附RKACOR06程序运行指南)

本文详细解析了SAP FICO系统中使用RKACOR06程序修改已发生业务数据的成本中心和公司代码的实操方法。通过实战案例分享,提供从前期准备到后期验证的全流程指南,帮助企业应对组织架构重组或财务核算体系调整时的数据迁移挑战,特别适用于跨公司代码的成本中心划转场景。

weixin_27303545的博客 192

神经网络(Neural Network)—由浅入深的学习并搭建一个属于自己的神经网络(干货满满)

近段时间花了大概一周的时间将《Make Your Own Neural Network》这本书仔细阅读了一遍,同时也浏览了它对应的中文版本《Python神经网络编程》。书中有少数几个错误,认真阅读自己能检查出来,这几个错误不会妨碍你学习神经网络。不得不说,这本书写的确实很详细,很适合小白入门Neural Network(简称NN),我之前也上机器学习的课学过神经网络,但远没有看完这本书理解的深刻。看完了确实收获很大,在此仔细总结一下学到的核心知识,帮助大家更好的理解神经网络。

m0_66360845的博客 1253

基于Arduino 的 FM 调频收音机

这是一个基于 Arduino 的开源的收音机项目,它具备一台标准收音机的全部功能,从控制部分到外壳都可以自己 DIY。在项目中,我们将介绍让 FM 收音机调谐器的 RDA5807 模块与 I2C 协议进行通信的方法,整个过程只需要两根线就可以与 IC 通信,接线非常简单。3D 打印的外壳也非常简洁。总之,是个非常简单和实用的项目,来试试吧!

ByteBox的博客 1644

服务器被矿工入侵记录

一次服务器被矿工入驻的处理记录

王瑞的技术专栏 1334

Training Neural Networks, part I

Part I : - Activation Functions - Data Preprocessing - Weight Initialization - Batch Normalization - Babysitting the Learning Process - Hyperparameter Optimization    Activation Functio...

likyoo的博客 441

【温室气体数据集】全球总碳柱观测网络 TCCON

【温室气体数据集】全球总碳柱观测网络 TCCON

WW、forever的博客 438

stanford_CS231n_learning note_Lec_05 Training Neural Networks, Part1

Lec_5_Training Neural Networks Part I Happy Moment北冥有鱼其名为鲲 Project Proposal We are now here Traning Neural Networks A bit of history Activation Functions sigmoid function x11ex sigma x 11e-x tanhx ReL

专注机器学习之路 2365

任务混部最少服务器数量计算问题

这里的并行度指的是该任务运行时会占用的服务器数量。要注意的是,一个服务器在每个时刻可以被任意任务使用,但同一时刻最多只能被一个任务占用,并且任务运行结束后会立即释放服务器(结束时刻不占用)。最后,我们从字典中找出服务器数量的最大值,这个最大值就是完成这批任务混部最少需要的服务器数量。对于每个任务,我们会遍历其对应的时间区间,将该任务的并行度累加到对应时刻的服务器数量上。任务混部的目标是让这批任务由同一批服务器承载运行,你需要计算完成这批任务混部最少需要多少服务器,以此来最大化控制资源成本。

m0_62153576的博客 108

蓝牙学习笔记之HCI协议(一)

目录 协议浅述 HCI简介 HCI协议数据格式 HCI Command Packet HCI ACL Data Packet HCI Synchronous(SCO) Data Packet HCI Event Packet HCI命令和事件介绍 Inquiry command Write Local Name Command Read BD_ADDR Command H...

在云巅的博客 2万+

Domain-Adversarial Training of Neural Networks

本篇是迁移学习专栏介绍的第十八篇论文,发表在JMLR2016上。 Abstrac 提出了一种新的领域适应表示学习方法,即训练和测试时的数据来自相似但不同的分布。我们的方法直接受到域适应理论的启发,该理论认为,要实现有效的域转移,必须基于不能区分训练(源)域和测试(目标)域的特征进行预测。 该方法在神经网络体系结构的上下文中实现了这一思想,神经网络体系结构的训练对象是源域的标记数据和目标域的未...

gdtop的个人笔记 2万+

2025华为OD机试真题目录汇总 B+C+D+E卷(570道)(Python语言)

本文是华为OD机试真题(Python 语言)专栏的目录贴(持续更新中…)华为OD是Outsourcing Dispacth模式,是华为和外企德科联合招聘的简称。目前华为大多数是OD招聘。OD模式也是华为提出的一种新的用工形式,每年都会从OD项目挑优秀员工转为正编。所有OD和正式员工一样对待,没有差别,部门平时开会、评审等活动都是一起参加的,是同薪同酬,都是由华为的HR直接定的薪资,看的是我们技术能力。华为是大企业,能到华为上班也是有能力的,每个部门都有好多职位,是金子,在哪都会发光。

KJ.JK 18万+

Coursera Machine Learning 第五周 quiz Neural Networks: Learning

1.  You are training a three layer neural network and would like to use backpropagation to compute the gradient of the cost function. In the backpropagation algorithm, one of the steps is to

OovEver的专栏 8385

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Binarized Neural Networks:Training Deep Neural Networks with Weights and Activations -1,1

文章链接:Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 这是2016年的一篇关于模型量化的文章。 1、背景: 在网络量化中,有一种极为诱惑的量化方式:1bit量化——极致的压缩!但是1bit的网络在训练时有诸多细节需要完...

langzi453的博客 2415

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

谷歌机器学习速成课程笔记 15(Training Neural Networks -训练神经网络)

在思考如何训练神经网络是,首先我们需要了解哪些信息是与反向传播有关的。 (我们不需要了解反向传播的实施方式/原理机制,因为tensorflow 会为我们做好) 首先,反向传播确实依赖于梯度这个概念——事物必须是可微的(函数中存在一两个小的间断点没关系)这样我们才能够使用神经网络进行学习。 另外,要注意,梯度可能会消失。如果我们的网络太过深入,信噪比随着您深入模型而变差,那么学习速度可能会...

Never let it go. 477

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

cs231n学习笔记——六.Training Neural Networks 神经网络的训练

周末偷懒了w新的一周继续~ 这节课主要将训练神经网络,讲到训练不可避免的要讲的就是激活函数了 6.1 激活函数 放了几个用的比较多的 首先是sigmoid,sigmoid激活函数有三个问题 1)梯度消失,sigmoid函数只有0附近的极小区域能够有效的保留梯度 2)sigmoid非零中心,这会导致训练效率比较低 3)因为引入了exp()的计算,计算代价比较大(当然和卷积相比无足轻重了) 然后就有了tanh tanh解决了零对称的问题,但是依旧存在梯度消失的问题,所以引入了ReLU ReLU在正值区

qq_34734252的博客 724

【深度学习】CS231n系列课程Lecture6: Training Neural Networks, Part 2

课程链接: https://pan.baidu.com/s/1mhGp08K 密码: xgexParameter Updates1.梯度下降(最速下降法)这个就是简单的梯度下降,dxdx就是求出的梯度,就是个微小增量,学习率是设置的超参数,也就是步长,如果梯度为正,所以说明函数上升,所以xx要加上负梯度。求出的梯度只有方向,学习率决定xx改变的大小,这就是最简单的梯度下降的思想那么按照上面的方法,如

Felaim的博客 1563

A Recipe for Training Neural Networks [中文翻译, part 1]

最近拜读大神Karpathy的经验之谈A Recipe for Training Neural Networkshttps://karpathy.github.io/2019/04/25/recipe/,这个秘籍对很多深度学习算法训练过程中遇到的各自问题进行了总结,并提出了很多很好的建议,翻译于此,希望能够帮助更多人学到这些内容。 译文如下: 几周前,我发布了一条关于“最常见的神经网络错...

weixin_30617797的博客 354

CNN笔记(CS231N)——训练神经网络I(Training Neural Networks, Part I)

训练神经网络 我们先来看这部分内容的综述,主要介绍了在训练网络中的一些基本方法与基本概念 激励函数(Activation Functions) 首先我们来看看神经网络用的激励函数之间的对比 Sigmoid函数主要有一下三个问题,第一是函数存在饱和区,这部分函数梯度基本为0,导致权重不会变化;第二是函数输出不是以0为中心;第三是指数函数计算量比较大 对于第二点我们重点说说,假如...

shanwenkang的博客 586

[深度学习论文笔记][Weight Initialization] Random walk initialization for training very deep feedforward netw

Sussillo, David, and L. F. Abbott. “Random walk initialization for training very deep feedforward networks.” arXiv preprint arXiv:1412.6558 (2014). [Citations: 3]. 1.3.1 Motivation [Motivation]

Hao_Zhang_Vision的博客 1292
上一篇: 【CS231n笔记】04 Backpropagation and Neural Networks part 1
下一篇: 【CS231n笔记】06 Training Neural Networks, Part 2
binlearning
博客等级 码龄10年 10粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值