【深度学习】残差网络

目录

一、基本概念和原理

二、残差网络优缺点和改进

2.1 残差网络优点

2.2 残差网络缺点

2.3 残差网络缺点改进

三、残差网络相关的发展趋势和应用领域

---

一、基本概念和原理

        残差网络（Residual Network，简称ResNet）是一种深度神经网络架构，由Kaiming He等人在2015年提出。其核心思想是通过引入“快捷连接”（skip connection）或称为“残差连接”（residual connection）来解决深度神经网络训练中的退化问题。

        随着神经网络层数的增加，训练深层网络会遇到退化问题，即网络层数增加并不能提高性能，甚至导致训练误差变大。残差网络通过引入残差连接，使得网络能够更容易地训练深层网络，从而有效地解决了退化问题。具体来说，残差连接可以让网络的层学到输入和输出之间的“残差”，使得信息可以直接从前一层传递到后一层，而不会被后续层所影响。

        在普通的深度神经网络中，假设某一层的输入为x，网络经过一个变换（如卷积、批归一化、激活等）后得到输出F(x)。在残差网络中，这一层的输出变为F(x)+x，其中x是输入，F(x)是通过某些层的计算得到的变换。这个形式称为“残差块”（residual block）。

二、残差网络优缺点和改进

2.1 残差网络优点

        残差网络具有多个优点，包括：

1. 解决深层网络