ResNet(Residual Network)是由微软亚洲研究院提出的深度卷积神经网络,它在2015年的ImageNet挑战赛上取得了第一名的好成绩。ResNet最大的特点是使用了残差学习,可以解决深度网络退化问题。
在传统的深度神经网络中,随着网络层数的增加,网络的训练误差会逐渐变得更大,导致网络性能下降。这种现象被称为网络退化问题。ResNet通过在网络中引入残差块(Residual Block)解决了这个问题。
在ResNet中,每个残差块包含两个卷积层和一个跳跃连接。跳跃连接是将输入直接连接到输出,以便信息可以直接跨层传播。因此,每个残差块可以学习到残差函数,将输入映射到期望输出的剩余映射,而不是直接将输入映射到输出。