经典卷积神经网络-ResNet

侯静川

已于 2024-01-01 22:06:47 修改

阅读量1.9k

点赞数 19

分类专栏：经典卷积神经网络文章标签： cnn 人工智能神经网络深度学习

于 2024-01-01 22:05:24 首次发布

本文链接：https://blog.youkuaiyun.com/houjingchuan/article/details/135329673

版权

经典卷积神经网络-ResNet

一、背景介绍

残差神经网络(ResNet)是由微软研究院的何恺明、张祥雨、任少卿、孙剑等人提出的。ResNet 在2015 年的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）中取得了冠军。残差神经网络的主要贡献是发现了“退化现象（Degradation）”，并针对退化现象发明了 “快捷连接（Shortcut connection）”，极大的消除了深度过大的神经网络训练困难问题。神经网络的“深度”首次突破了100层、最大的神经网络甚至超过了1000层。

在这里插入图片描述

二、ResNet网络结构

2.0 残差块

在这里插入图片描述

配合吴恩达深度学习视频中的图片进行讲解：

在这里插入图片描述

如图所示，Residual block就是将 $a^{[l]}$ 传送到 $z^{l+2}$ 上，其相加之后再进行激活得到 $a^{[l+2]}$ 。这一步骤称为"skip connection"，即指 $a^{[l]}$ 跳过一层或好几层，从而将信息传递到神经网络的更深层。所以构建一个ResNet网络就是通过将很多这样的残差块堆积在一起，形成一个深度神经网络。

那么引入残差块为什么有效呢？ 一个直观上的理解：

在这里插入图片描述

如图所示，假设我们给我们的神经网络再增加两层，我们要得到 $a^{[l+2]}$ ，我们通过增加一个残差块来完成。这时 $a^{[l+2]}=g(z^{[l+2]}+a^{[l]})=g(w^{[l+2]}a^{[l+1]}+a^{}[l])$ ，如果我们应用了L2正则化，此时权重参数会减小，我们可以极端的假设 $w^{[l+2]}=0，b^{[l+2]}=0$ ，那么得到 $a^{[l+2]}=g(a^{[l]})=a^{[l]}$ （因为使用的是ReLU激活函数，非负的值激活后为原来的值， $a^{[l]}$ 已经经过ReLU激活过了，所以全为非负值）。这意味着，即使给神经网络增加了两层，它的效果并不逊色于更简单的神经网络。所以给大型的神经网络添加残差块来增加网络深度，并不会影响网络的表现。如果我们增加的这两层碰巧能学习到一些有用的信息，那么它就比原来的神经网络表现的更好。