[李宏毅-机器学习]Tips for deep learning

最新推荐文章于 2023-10-20 16:11:32 发布
原创 最新推荐文章于 2023-10-20 16:11:32 发布 · 320 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了深度学习中激活函数的选择，如ReLU与Maxout的优势，以及梯度下降优化方法，包括AdaGrad、RMSProp、Momentum和Adam等。同时介绍了避免过拟合的策略，如EarlyStopping和Dropout。

 

Activation fucntion

sigmoid对深层网络效果不好，可能会导致梯度消失问题

sigmoid对输入比较大，得到的输出比较小

ReLU

 

Maxout

自动学习出来需要的activation function

 

梯度下降优化方式

AdaGrad

 

RMSProp

Adagrad改进版，对过去和现在的梯度（不带方向，平方去掉了方向）进行加权

 

动量Momentum

用于避开local minima

动量就是之前梯度的累计，相当于惯性（带方向）

 

Adam=RMSprop+Momentum

 

Early Stopping

 

正则化 Regularization

 

Dropout

使用dropout时，在training时效果会变差，但是主要用于test

随堂笔记--Tips for Deep Learning
qq_37210730的博客
08-25 365
一.改善训练集结果的措施 1.采用新的激活函数 在前面关于神经网络的学习中(包括在逻辑回归中的学习)，我们所用的激活函数都是sigmoid，即函数，根据我们上一篇中对神经网络使用梯度下降法时使用的BP算法的介绍我们有以下式子： 其中，，对g(z)求导有，这样就会导致一个问题，在使用反向传播算法确定参数优化模型结构时，越靠近输入层的部分随着迭代次数的增加，其梯度值会越...
[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）
Holeung blog
06-06 6968
[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士） PDF VIDEORecipe of Deep Learning 在 training data上的performance不好Deeper usually does not imply betterVanishing Gradient Problem ReLU（Rectifi
李宏毅-ML Tips for Deep Learning(深度学习的技巧)
qq_36356587的博客
03-30 301
Tips for Deep Learning 当测试集上的效果不好时需要查看训练集上的错误率，有时候可能时因为训练集上就没有训练起来； 使用dropout相当于集成 不同的激活函数对训练结果的影响很大，通过数学推导的角度分析，例如sigmoid激活函数会导致前面层的参数到后面逐渐被削弱； 层数越多并不一定效果越好 梯度消失现象 有些神经元经过relu激活函数后会导致结果为0，所以使...
李宏毅机器学习之Tips of Deep Learning
Trony的博客
06-19 318
建立deep learning的三个步骤 define a set function goodness of function pick the best function 做完这些事之后我们可以得到一个neural network。在得到neural network之后，我们需要判断神经网络的表现。 一、判断神经网络的表现 1.1 神经网络的表现以及解决方案 首先我们需要检查，这个神经网络在我们的training set上有没有好的结果（是否陷入局部最优），没有的话，回头看，是那个..
tips for deep learning
futurewq的博客
06-25 281
当有一个网络结构时，该网络结构应用于某个问题上，那么du对于该网络结构的衡量就有不同的标准，可能是在训练集上的效果就不好；可能是在训练集上的效果很好，但是在测试集上的效果不好。如下图所示。 如上图所示，模型表现不好并不仅仅是过拟合，还有可能是欠拟合，即在训练集上的效果就很差。当出现不同的问题时，我们需要使用不同的方法来解决。我们通常很难利用深度学习的强大之处，并不是网络结构越深其效果越好。网...
deep learning tips
张帅的博客
05-09 311
dropout是为了防止过拟合，实在testing data上面效果不好时用的，而training data效果不好的时候不会考虑这个方法。
9、【李宏毅机器学习（2017）】Tips for Deep Learning（深度学习优化）
Jimmyzqb的博客
08-29 4117
在上一篇博客中介绍了Keras，并使用Keras训练数据进行预测，得到的效果并不理想，接下来将以此为基础优化模型，提高预测的精度。 目录 误差分析 模型误差原因分析 模型优化方案 New activation function Vanishing Gradient Problem ReLU Maxout Maxout介绍 Maxiout方法的训练 Adaptive Lear...
【李宏毅机器学习笔记】8、Tips for Training DNN
01-06
【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播（Backpropagation） 【李宏毅机器学习笔记】8、Tips for Training DNN 【李宏毅机器学习笔记】9、Convolutional Neural Network...
【李宏毅机器学习笔记】6、简单介绍深度学习（Deep Learning）
01-06
【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播（Backpropagation） 【李宏毅机器学习笔记】8、Tips for Training DNN 【李宏毅机器学习笔记】9、Convolutional Neural Network...
2021 李宏毅学习笔记——6.Deep Learning&why deep&Backpropagation
weixin_44790306的博客
05-23 908
文章目录摘要 摘要 本章首先是通过逻辑回归的限制，引入了深度学习的概念；其次介绍了深度学习的发展与广泛的应用领域；以及Deep learning 的三个Step，一是定义一个函数集，也就是神经网络（neural network），二是定义一个函数的好坏（找到合适的参数），三是选一个最好的函数；在step1中用Matrix Operation矩阵运算去表示netural神经元的运作；在step2中去调整netural神经元的参数，用交叉熵函数作为损失函数，去使交叉熵的值越小越好；在step3中仍然是应用梯度下
机器学习 -- Tips for Deep Learning
01-30
Tips for Deep Learning Do not always blame Overfitting Hard to get the power of Deep ... Vanishing Gradient Problem ReLU Maxout RMSProp
深度学习03：Tips for Deep Learning
weixin_40313252的博客
12-22 987
文章目录1 做deep learning的流程2 欠拟合对策2.1 New activation function2.1.1 Gradient Problem（梯度消失）2.1.2 ReLU2.1.3 Maxout2.2 Adaptive learning rate2.2.1 Adagrad2.2.2 Momentum2.2.2 RMSProp2.2.3 Adam3 过拟合对策3.1 early stopping3.2 Regularization3.3 Dropout 深度学习理论系列： 深度学习01 深
【深度学习 理论】Tips for Deep Learning-1
一定要站在自己热爱的生活里闪闪发光
08-16 3万+
一、Recipe of Deep Learning DL训练完后，要先在训练集上测试，如果训练集的测试结果不好，就要回去进行修改。如果在训练集上的测试结果较好，那么再去测试集上测试效果。如果结果不好的话，是overfitting，这个时候要解决过拟合的问题。 不要看到训练结果就认为是overfitting，如果都按照是overfitting去直接通过调整model的话，你的model的效果可能会更差。 下面这个例子，就不是overfitting的问题。 看到这个图，56层的神经网络
李宏毅机器学习（7）—Tips for Deep Learning（1）
qq_37217397的博客
02-12 260
在这节课之前，李宏毅老师还介绍了一些其他与DL相关的知识，包括Backpropagation（反向传播），和Keras的使用方法，不过这部分比较简单，所以我不单独再做笔记。 DL与ML的一个重要区别 ...
10.机器学习——Tips for Training DNN
pxlsdz的博客
12-14 689
本文会顺带解决CNN部分的两个问题： 1、max pooling架构中用到的max无法微分，那在gradient descent的时候该如何处理？ 2、L1 的Regression到底是什么东西 本文的主要思路： 针对training set和testing set上的performance分别提出针对性的解决方法 1、在training set上准确率不高： - new activation function：ReLU、Maxout - adaptive learning rate：Adagrad、RM.
机器学习-11-Tips for Deep Learning(深度学习的技巧和优化方法)
迷雾总会解
12-07 876
本文会顺带解决CNN部分的两个问题： 1、max pooling架构中用到的max无法微分，那在gradient descent的时候该如何处理？ 2、L1 的Regression到底是什么东西 本文的主要思路：针对training set和testing set上的performance分别提出针对性的解决方法 1、在training set上准确率不高： new activation function：ReLU、Maxout adaptive learning rate：Adagrad、RMSProp
深度学习5.2——Tips for Deep Learning
weixin_63194616的博客
10-20 236
首先，我们在之前提到过深度学习的基本步骤：经过这三个步骤训练出一个神经网络，如果该神经网络无法在训练集上得到好的结果，那么需要重新返回到这三个步骤，如果可以得到好的结果，那么观察该神经网络能否在测试集上得到好的结果，如果不行，那么称之为，需要回到上述的三个基本步骤，如果可以，那么结束整个过程。随着模型层数的增加， 模型的准确率越来越低。但这并不是因为模型了，上图只意味着模型在训练的时候都没有达到好的效果。出现这种情况的原因是参数变化对Cost的变化减小。即在靠近模型输入层的梯度比较小，参数更新较慢；
【深度学习 理论】Tips for Deep Learning-2
热门推荐
一定要站在自己热爱的生活里闪闪发光
08-17 3万+
当训练集效果好但测试集效果差时，有以下解决办法： 1.Early Stopping 理想情况下，Learning rate和Loss会越来越小。 early stopping是搞一个Validation Set，当模型在验证集上的误差比上一次训练结果差的时候停止训练。 2.Regularization（正则化） 重新定义去minimized的Loss Function。但这个方法对训练效果的改善并步显著。 正则化不一定只能用L2正则化，也可以用L1正则化。 使用L.
机器学习系列 九 - 2. Tips for Deep Learning - adaptive learning rate
04-18 747
下图所说的testing data 不是真正的testing data， 而是我们已经labeled 数据，是validation setAdaptive Learning Rate之前再讲gradient descent的时候已经讲过adaptive learning rate了。在那个时候，我们会用一次微分来估算二次微分的值，那是在假设说二次微分很固定的情况。在·但是实际上，我们真正面对问题的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值