深度学习调参经验

深度学习的十条调参经验 法则一:调参、模型和数据 1、调参是锦上添花的事 2、模型 3、数据 4、哪些参数可以调? 法则二:数据预处理、验证集和批处理 1、数据预处理 2、验证集 3、批处理 法则三:Learning rate和batch size 法则四:损失函数 法则五:Epoch number和early stopping: 法则六:Optimizer、Weights initialization和Regularization 1、Optimizer 2、Weights initializatio 阅读详情

编辑:Datawhale

训练技巧对深度学习来说是非常重要的,作为一门实验性质很强的科学,同样的网络结构使用不同的训练方法训练,结果可能会有很大的差异。这里我总结了近一年来的炼丹心得,分享给大家,也欢迎大家补充指正。

 

参数初始化

下面几种方式,随便选一个,结果基本都差不多。但是一定要做。否则可能会减慢收敛速度,影响收敛结果,甚至造成Nan等一系列问题。

下面的n_in为网络的输入大小,n_out为网络的输出大小,n为n_in或(n_in+n_out)*0.5

Xavier初始法论文:

http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf

He初始化论文:

https://arxiv.org/abs/1502.01852

  • uniform均匀分布初始化:
    w = np.random.uniform(low=-scale, high=scale, size=[n_in,n_out])

    • Xavier初始法,适用于普通激活函数(tanh,sigmoid):scale = np.sqrt(3/n)

    • He初始化,适用于ReLU:scale = np.sqrt(6/n)

  • normal高斯分布初始化:
    w = np.random.randn(n_in,n_out) * stdev # stdev为高斯分布的标准差,均值设为0

    • Xavier初始法,适用于普通激活函数 (tanh,sigmoid):stdev = np.sqrt(n)

    • He初始化,适用于ReLU:stdev = np.sqrt(2/n)

  • svd初始化:对RNN有比较好的效果。参考论文:https://arxiv.org/abs/1312.6120
     

数据预处理方式

  • zero-center ,这个挺常用的.
    X -= np.mean(X, axis = 0) # zero-center
    X /= np.std(X, axis = 0) # normalize

  • PCA whitening,这个用的比较少.
     

训练技巧

  • 要做梯度归一化,即算出来的梯度除以minibatch size

  • clip c(梯度裁剪): 限制最大梯度,其实是value = sqrt(w1^2+w2^2….),如果value超过了阈值,就算一个衰减系系数,让value的值等于阈值: 5,10,15

  • dropout对小数据防止过拟合有很好的效果,值一般设为0.5,小数据上dropout+sgd在我的大部分实验中,效果提升都非常明显.因此可能的话,建议一定要尝试一下。dropout的位置比较有讲究, 对于RNN,建议放到输入->RNN与RNN->输出的位置.关于RNN如何用dropout,可以参考这篇论文: http://arxiv.org/abs/1409.2329

  • adam,adadelta等,在小数据上,我这里实验的效果不如sgd, sgd收敛速度会慢一些,但是最终收敛后的结果,一般都比较好。如果使用sgd的话,可以选择从1.0或者0.1的学习率开始,隔一段时间,在验证集上检查一下,如果cost没有下降,就对学习率减半. 我看过很多论文都这么搞,我自己实验的结果也很好. 当然,也可以先用ada系列先跑,最后快收敛的时候,更换成sgd继续训练.同样也会有提升.据说adadelta一般在分类问题上效果比较好,adam在生成问题上效果比较好。

  • 除了gate之类的地方,需要把输出限制成0-1之外,尽量不要用sigmoid,可以用tanh或者relu之类的激活函数.1. sigmoid函数在-4到4的区间里,才有较大的梯度。之外的区间,梯度接近0,很容易造成梯度消失问题。2. 输入0均值,sigmoid函数的输出不是0均值的。

  • rnn的dim和embdding size,一般从128上下开始调整. batch size,一般从128左右开始调整.batch size合适最重要,并不是越大越好.

  • word2vec初始化,在小数据上,不仅可以有效提高收敛速度,也可以可以提高结果.

  • 尽量对数据做shuffle

  • LSTM 的forget gate的bias,用1.0或者更大的值做初始化,可以取得更好的结果,来自这篇论文: http://jmlr.org/proceedings/papers/v37/jozefowicz15.pdf, 我这里实验设成1.0,可以提高收敛速度.实际使用中,不同的任务,可能需要尝试不同的值.

  • Batch Normalization据说可以提升效果,不过我没有尝试过,建议作为最后提升模型的手段,参考论文:Accelerating Deep Network Training by Reducing Internal Covariate Shift

  • 如果你的模型包含全连接层(MLP),并且输入和输出大小一样,可以考虑将MLP替换成Highway Network,我尝试对结果有一点提升,建议作为最后提升模型的手段,原理很简单,就是给输出加了一个gate来控制信息的流动,详细介绍请参考论文: http://arxiv.org/abs/1505.00387

  • 来自@张馨宇的技巧:一轮加正则,一轮不加正则,反复进行。
     

Ensemble

Ensemble是论文刷结果的终极核武器,深度学习中一般有以下几种方式

  • 同样的参数,不同的初始化方式

  • 不同的参数,通过cross-validation,选取最好的几组

  • 同样的参数,模型训练的不同阶段,即不同迭代次数的模型。

  • 不同的模型,进行线性融合. 例如RNN和传统模型

欢迎扫码关注:

扫码添加小编微信拉你入机器学习算法群(请备注研究方向),一起交流进步:

TSP、MTSP问题遗传算法详细解读及python实现 写在前面 遗传算法是一种求解NPC问题的启发式算法,属于仿生进化算法族的一员。仿生进化算法是受生物行为启发而发明的智能优化算法,往往是人们发现某种生物的个体虽然行为较为简单,但生物集群通过某种原理却能表现出智能行为。于是不同的人研究不同的生物行为原理,受到启发而发明出新的仿生进化算法。比如免疫优化算法,蚁群算法,模拟退火算法等,这些算法以后也会简单介绍。 本文的主题是遗传算法,该算法也是受到生物行为启发。物竞天择,适者生存,优胜劣汰,是该优化算法的核心思想。笔者在业务中需要用到遗传算法求解TSP问题,但是网 阅读详情

相关推荐

<202505高项>《【VIP合集】 软考高项(第四版)十大知识域、五大过程组、ITTO输入输出工具、项目绩效域》

软考高项(第四版)十大知识域、五大过程组、ITTO输入输出工具、项目绩效域

Else 的博客 1861

深度学习训练技巧(一)

训练技巧对深度学习来说是非常重要的,作为一门实验性质很强的科学,同样的网络结构使用不同的训练方法训练,结果可能会有很大的差异。这里我总结了近一年来的炼丹心得,分享给大家,也欢迎大家补充指正。 参数初始化。 下面几种方式,随便选一个,结果基本都差不多。但是一定要做。否则可能会减慢收敛速度,影响收敛结果,甚至造成Nan等一系列问题。 n_in为网络的输入大小,n_out为网络的输出大小,

有些代码不应该被忘记 1731

别再手动挂载NPU了!手把手教你用Ascend-Docker-Runtime一键启动昇腾AI容器

本文详细介绍了如何使用Ascend-Docker-Runtime一键启动昇腾AI容器,大幅简化NPU设备挂载流程。通过环境变量ASCEND_VISIBLE_DEVICES,开发者可以灵活指定NPU设备,提升开发效率。文章还提供了安装配置指南、高级使用技巧和常见问题排查方法,帮助开发者快速掌握这一高效工具。

weixin_42662605的博客 254

DeepLearning.ai学习笔记(二)改善深层神经网络:超参数调试、正则化以及优化--Week1深度学习的实用层面...

更多笔记请火速前往 DeepLearning.ai学习笔记汇总 本周我们将学习如何配置训练/验证/测试集,如何分析方差&偏差,如何处理高偏差、高方差或者二者共存的问题,如何在神经网络中应用不同的正则化方法(如L2正则化、Dropout),梯度检测。 一、训练/验证/测试集(Train/dev/test sets) 一般来说为了充分利用已有数据以及让模型预测的更加一般化,通常将...

aiwanghuan5017的博客 360

TI C2000 DSP CLA实战:用F28069的协处理器实现ADC采样与PWM相位实时联动控制

本文详细介绍了如何利用TI C2000系列DSP的CLA协处理器在TMS320F28069上实现ADC采样与PWM相位的实时联动控制。通过CLA的零周期上下文切换和硬件级任务触发特性,显著提升了电机控制和数字电源应用的实时性能,特别适用于需要亚微秒级响应的场景。

weixin_30932215的博客 3968

雪亮工程视频联网技术详解:视综平台主流接入方式与协议分析

随着雪亮工程建设的深入,视频资源的汇聚与共享成为核心需求。本文简要剖析了雪亮视综平台下的视频联网接入技术,重点讲解了主流接入方式的区别与选型,并深入探讨了平台内部及跨平台的视频资源共享机制(含级联与推送模式),旨在为安防开发人员和系统集成商提供清晰的架构思路与技术参考。

lsz152590的博客 724

tensorflow下FCN网络训练出现acc值为0

继续训练fcn网络,loss值有变化,但是acc值为0,显示结果如下: 说明该网络没有真正的在训练,需要另外调整参数。

banxia1995的博客 3355

ESP-SPARKBOT AI 智能机器人:v1.2 全流程复刻指南

本文介绍 ESP-SPARKBOT AI 智能机器人 v1.2 版本的全流程复刻,包含 PCB 、3D 打印、固件烧录、常见问题解决、参考资料等

举世誉之而不加劝,举世非之而不加沮,定乎内外之分,辩乎荣辱之境,斯已矣。 9261

深度学习、目标检测情景中常见的模型评测指标

深度学习以及其目标检测应用场景下,训练出来的模型到底好不好有一些评价指标,在这里我们罗列一下这些常见的评价指标。

RayChiu757374816的博客 7901

Qt视频播放器项目(打开文件,视频的播放与停止,进度条与视频进度绑定,调整音量,设置按钮图标,将槽函数与按钮绑定等功能)完整代码地址在末尾

【代码】Qt视频播放器项目。

分享计算机视觉,C++,网络摄像头研发,音视频开发,嵌入式等知识。 758

SPRD Android 14 通过属性控制系统设置显示双栏或者单栏

SPRD Android 14 通过属性控制系统设置显示双栏或者单栏

m0_60898338的博客 1119

神经网络 之 思考与讨论(1)

引入: training set 的accuracy 和 validation or test set的accuracy 的关系. training set 和 test set的样本是完全不相交的. training set是用来训练我们的网络model的. test set 是作为实际的生产数据来检验模型的, 它是对模型在实际场景中的检验. 两个数据集没有交集, training ac...

vola的专栏 3802

手把手教你学Simulink——基于经典PID控制的电机系统场景实例:BLDC电机PID电流控制策略仿真

*无刷直流电机(Brushless DC Motor, BLDC)**因其高效率、长寿命和低维护成本,在众多领域如家用电器、工业自动化、电动汽车等得到了广泛应用。为了实现对BLDC电机的有效控制,通常采用基于霍尔传感器或反电动势检测的换相技术,并结合电流闭环控制以提高系统的动态响应和稳定性。本教程将带你使用构建一个基于PID控制的BLDC电机电流控制策略仿真模型BLDC电机建模PID控制器设计与应用系统仿真与调试控制效果分析本文介绍了如何使用构建一个。

MHD0815的博客 198

深度学习调参最全经验总结

本文结合自身工作和网上诸多炼丹者的经验,按不同模块梳理了有关深度学习调参的大量经验心得。特别地,加黑部分是笔者在实际项目中验证有效的。如有侵权请联系删除,如有错误欢迎评论指出。

rlczddl的博客 8654

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

深度学习调参经验汇总

此篇文章是在原创教程这个栏目下,但实际上是一篇汇总整理文章。相信大家在做深度学习时对调参尤为无奈,经验不足乱调一通,或者参数太多无从下手,我也如此。希望通过此文汇总网上一些调参的经验方法,供大家参考。此文会对网上每一篇调参文章做简练的总结与提炼,以此为此文的组成单元,并附上原文的链接。如果遇到不对的地方,欢迎指正~本文也将不定期更新,最后祝大家调参(炼金)顺利! 有多少人工,就有多少智能!(笑...

贾维斯的小屋 6095

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

深度学习调参技巧总结(部分参考网络上dl的经验)

深度学习调参技巧总结 关于deep learning(rnn、cnn) σ′(⋅)=σ(⋅)(1−σ(⋅)),tanh′=1−tanh2 batch_size:将数据集划分为不同的 batch,是为了限制 RAM 的使用,防止内存溢出; batch_size = 256; ℓ 层的神经网络,对于着 ℓ−1 个层间权值矩阵; 简单参数 hyperparameters: learning rate:一般从 0.01 开始设起,变化的幅度为 10 倍; 激活函数:做非线性映射 Sigmoid 和 ta

FLR的博客 394

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

深度学习15条调参经验

(1)Learning rate和batch size是两个重要的参数,而且二者也是相互影响的,在反向传播时直接影响梯度。(1)Epoch number和Early stopping是息息相关的,需要输出loss看一下,到底是什么epoch时效果最好,及时early stopping。(2)对于输出层,常用sigmoid和softmax激活函数,中间层常用ReLu激活函数,RNN常用Tanh激活函数。(1)数据量太大的情况下,可以先用1/10,1/100的数据先去估算一下训练或者推理时间,心里有个底。

no2454410的博客 675

tensorflow调参方法及深度学习调参经验

***

红豆的博客 2469

【深度学习】终于学会调参了!!你有哪些deep learning(rnn、cnn)调参的经验?...

各位好,我是DASOU。前两天在B站直播讲课的时候,谈到初始化模型,一般来说会做两个事情,第一个是要选定模型架构,第二个是学会初始化参数。对于参数这一块,主要是两个,第一个是模型自带的参数,第二个是我们的超参数。模型自带的参数在初始化的时候方式有很多,这个先不谈。超参数的调整一般就是炼丹师口中的调参。比如说bs,lr,每层节点数,正负样本比例等等,这些其实都属于超参数。说起调参,其实很多人都会比较...

fengdu78的博客 538

深度学习-深度学习调参经验

目录 二、深度学习调参经验 一、参数初始 二、数据预处理方式 三、训练技巧 四、尽量对数据做shuffle 五、Ensemble 二、深度学习调参经验 一、参数初始 权重W的:uniform均匀分布初始化: Xavier初始法,适用于普通激活函数(tanh,sigmoid):scale = np.sqrt(3/n) 二、数据预处理方式 zero-center :X -= n...

Silimere 616

深度学习中的调参经验

调参其实就是trial-and-error,没有其他捷径可以走。快速尝试, 快速纠错这是调参的关键。 目录 常用的调参经验: 自动调参方法: 这是一个很好的链接, 说明了如何从零开始不断的trial-and-error(其实这里面没遇到什么error): Using convolutional neural nets to detect facial keypoints tutorial...

Begining 1145

【NLP 12、深度学习15条调参经验】

假设训练数据集包含 N个样本,Batch size 设为 m,则在一个 Epoch 里的 Iteration 次数为 N / m (若N不能被m 整除则向上取整)。是息息相关的,需要输出loss看一下,到底是什么epoch时效果最好,及时early stopping。是两个重要的参数,而且二者也是相互影响的,在反向传播时直接影响。① 数据量太大的情况下,可以先用1/10,1/100的数据去。,把数据分布分散到均值0,方差为1的区间,利于训练模型。(2)batch size不能太大,也不能太小,

m0_73983707的博客 1255
上一篇: 机器学习中特征选择怎么做?这篇文章告诉你
下一篇: 最常用的决策树算法!Random Forest、Adaboost、GBDT 算法
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值