残差网络(ResNet)是由来自Microsoft Research的学者提出的卷积神经网络,其在2015年的ImageNet大规模视觉识别竞赛中获得了图像分类和物体识别的优胜。残差网络的特点在于其容易优化,并且能够通过增加深度来提高准确率。
残差网络的核心思想在于引入了残差块(Residual Block)的概念。每个残差块由恒等映射(Identity Mapping)和残差映射(Residual Mapping)两部分组成。恒等映射将输入直接传递到输出,而残差映射则对输入进行非线性变换,并与恒等映射相加,形成残差。这种设计使得模型可以学习到残差,即剩余的映射,而不仅仅是对输入的变换。通过引入残差连接,即使网络非常深,梯度也可以通过残差连接直接传递到较浅层,从而避免了梯度消失的问题。
残差网络的主要优点是易于训练和优化,并且可以通过增加网络深度来提高性能。然而,它也存在一些缺点,例如缺乏所有先前卷积输出到连续特征图的密集拼接,这可能导致信息利用不够充分。
残差网络在图像识别、物体检测、自然语言处理等多个领域都有广泛的应用。通过不断优化和改进,残差网络将继续在计算机视觉和深度学习领域发挥重要作用。