ResNet 论文解读

ResNet优点

  1. 相比传统的卷积神经网络如VGG复杂度降低,需要的参数下降
  2. 可以做到更深,不会出现梯度弥散的问题
  3. 优化简单,分类准确度加深由于使用更深的网络
  4. 解决深层次网络的退化问题

解决梯度弥散

常见方法:batch normalization

学习原理

对于传统的方法是直接去学习输入到输出的映射,而深度卷积残差网络是去学习输入到(输出-输入)的映射。这样就有了一个先验信息:输出一定是可以由输入的一部分组成的。事实上证明,这个先验信息是很有用的,这对应于相等映射(也就是要学习的参数都为0的情况),而传统网络在学习参数都为0的情况是输出0映射。对于传统网络而言,要想学习一个相等映射,再深的网络由于其本身的非线性性,很难学出来。

事实上,改变网络结构的方式有很多,一种是改变每一层的内容,比如将卷积改为全连接,改变卷积核的大小,而ResNet改变的是神经网络的连接方式,将前一层(输入)直接连接到后一层(输出),这样实现残差的学习,而参数相比传统的VGG一点都没有多,但是结构改了。

实现细节

  1. 图像数据上,random采样224*224,水平翻转
  2. 采用batch normalization
  3. 使用0.0001的weight normalization
  4. 使用0.9的momentum
  5. mini_batch 256张
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值