CNN图像分类模型（五）——ResNet

一）简介

  ILSVRC 2015分类任务的头名，便由ResNet摘得。经过这些年的发展，ResNet已经是当前应用最为广泛的CNN特征提取网络。

二）ResNet模型介绍

  之前的网络模型都表明，深度对提高性能有着显著作用。但在实际训练中，过高的深度往往伴随着地梯度消失或梯度爆炸，而且过深的网络还会导致准确率下降。因此，简单的网络层数堆叠，并不能得到大家预期的结果。

2.1）Highway Network

引自： https://blog.youkuaiyun.com/u011974639/article/details/76737547
在ResNet之前，瑞士教授Schmidhuber提出了Highway Network,原理和ResNet很像，Schmidhuber教授有着一个更出名的发明–LSTM网络。

• Highway Network解决的问题?
  通常认为神经网络的深度对其性能非常重要，而在增加网络深度的同时随之而来的是网络训练难度增大，Highway Network的目标就是解决极深的神经网络难以训练的问题。
• Highway Network的原理?
  Highway Network相当于修改了每一层激活函数，此前的激活函数是对输入信号做了非线