keras搬砖系列-GoogLeNetV4与inception-ResNetV1，V2

keras搬砖系列-GoogLeNetV4与inception-ResNetV1，V2

1，在inception v3的基础上发明了inception V4，V4比V3更加复杂

2，结合了ResNet与GoogleNet，发现了Inception-ResNet-v1，Inception-Resnet-v2，其中Inception-ResNet-v2效果很好，但相比ResNet，Inception-ResNet-v2的复杂度惊人，跟inception v4差不多。

3，加入了Residual Connections以后，网络的训练速度加快了

4，在网络复杂度相近的情况下，inception-ResNet-v2优于inception-v4

5,Residual Connections只能加速网络收敛，真正提高网络精度的是更大的规模

residual connection不是训练非常深神经网络的必要条件，但是可以显著的加快训练的速度。

对于inception v4来说他们的结构如图：

inception-v4的网络模型：

其中的inception-A模块是这样的：

对于inception-ResNet的一个典型的模块是这样的：

Inception-ResNet-A网络结构

其中的+就是residual connection了。通过20个类似的模块组合，Inception-ResNet构建如下：

Inception-ResNet模型

基于Inception-v3和Inception-v4，文中分别得到了Inception-ResNet-v1和Inception-ResNet-v2两个模型。另外，文中还提到当卷积核超过1000个的大网络训练时，将残差（residuals）缩小有助于训练的稳定性。这个做法同原始ResNet论文中的two-phase training的效果类似。

转自：http://blog.youkuaiyun.com/app_12062011/article/details/62423307