深度学习基础——week3

-meteor-

于 2022-06-17 21:45:09 发布

阅读量142

点赞数 1

分类专栏：深度学习入门文章标签：深度学习 cnn 神经网络

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_51502608/article/details/125340697

版权

深度学习入门专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍了ResNet网络结构，其亮点在于超深网络和residual模块，有效解决了梯度消失和退化问题。1X1卷积用于调整通道数，批量归一化（BN）加速训练。ResNeXt作为ResNet的升级版，引入了组卷积，进一步优化了网络性能。迁移学习在此类网络中发挥重要作用，可以快速获取好效果，常用策略包括全部参数训练、部分层微调等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

!!!更好的阅读体验!!!

ResNet网络结构

亮点

超深
residual模块
使用Batch Normalization加速训练，不需要使用dropout

残差结构有效解决了梯度消失/爆炸、退化问题

residual结构

重点：

1X1卷积层作用是改变通道数
右边的方法有效减少了参数

重点：

注意stride和通道数的变化
注意虚线部分的作用：改变深度和特征矩阵长宽

BN

目的：使得一批（Batch）数据的特征矩阵每个维度满足均值为0,方差为1。(还有 $\gamma \quad \beta$ )

对象：一批数据，某一个通道的所有特征矩阵

注意：

训练时，traning:True 验证时：traning:False
Batch size 越大越好
bn层建议放在卷积层后，卷积不要使用bias (没用)
$\mu \quad \sigma^{2}$ 在正向传播过程中统计得到
$\gamma \quad \beta$ 在反向传播过程中训练得到

迁移学习

好处：

快
数据集小也可以有好效果
注意：用别人的预处理方法

常见方式：

载入后训练所有参数，不固定
固定前面参数，只训练最后几层
固定所有参数，额外添加全连接层

ResNeXt网络结构

对ResNet的升级：更新了block

Group Convolution(组卷积)

block

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。