深度学习中的trick

本文总结了深度学习中的卷积计算、感受野计算和训练参数调整等关键点。强调初始化参数要小,学习率随迭代递减,使用滑动平均模型保持稳定性。讨论了防止过拟合的方法,如正则化、提前停止训练,并提到了ReLU激活函数的初始化技巧。还介绍了优化算法Adam,特征标准化,以及CNN中的技巧,如分解大卷积核、Inception和ResNet结构,以及数据增强策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、卷积计算层

输入图像:n*n,过滤器:f*f , 步长:s,padding:p      

输出图像大小为:                     

 

⌊⌋表示向下取整

•步长:卷积步长s是指过滤器在图像上滑动的距离;

•Padding:卷积运算的缺点是,卷积图像的大小会不断缩小,另外图像的左上角的元素只被一个输出所使用,所以在图像边缘的像素在输出中采用较少,也就意味着你丢掉了很多图像边缘的信息,为了解决这两个问题,就引入了padding操作,也就是在图像卷积操作之前,沿着图像边缘用0进行图像填充。可以保证输出图像和输入图像一样大。

padding的两种模式:

Valid:no padding ---输入图像n*n,过滤器f*f,输出图像大小为:(n−f+1)∗(n−f+1)

Same:---输出图像和输入图像一样大

感受野的定义:在卷积神经网络中,感受野的定义是 卷积神经网络每一层输出的特征图(

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值