Resnet到底在解决一个什么问题呢？

ResNet（Residual Network）是一种深度神经网络架构，由何恺明等人在2015年提出，旨在解决深度神经网络训练过程中的梯度消失和退化问题。随着神经网络深度的增加，虽然理论上更深的网络应该具备更强的特征表达能力，但实际上，过深的网络往往会带来梯度消失、参数更新困难、训练不稳定等问题。ResNet通过引入残差连接（Residual Connection），让深度网络能够更容易地进行梯度传播，使得网络可以达到更深的层数，同时避免性能下降。

在深度学习的发展过程中，模型的深度一直是一个关键因素。AlexNet的成功展示了深度网络在计算机视觉任务中的强大能力，VGGNet进一步增加了网络层数，使得模型可以学习更加复杂的特征。然而，研究人员很快发现，简单地增加网络层数并不能无限提升模型的性能，甚至可能导致模型训练失败。这种现象被称为退化问题（Degradation Problem），即在一定深度之后，增加网络层数反而会导致准确率下降。

为什么深度网络会遇到这种瓶颈？主要原因之一是梯度消失或梯度爆炸问题，使得较深层的权重难以有效更新。此外，深度网络在训练过程中可能会导致优化困难，使得学习到的特征不稳定。为了解决这些问题，ResNet提出了一种创新的残差学习（Residual Learning）方法，使得网络可以直接学习层与层之间的残差信息，而不是直接拟合目标输出。这种方法不仅缓解了梯度消失问题，还极大地提升了深度网络的训练稳定性，使得训练100层以上的深度网络成为可能。

那么，ResNet的核心思想到底是什么？它是如何突破深度网络的训练瓶颈的？为什么残差连接可以如此有效地解决梯度消失和退化问题？