小菜鸟对各种版本Inception的认识

最新推荐文章于 2023-03-29 14:30:18 发布

原创最新推荐文章于 2023-03-29 14:30:18 发布 · 268 阅读

CC 4.0 BY-SA版权

本文介绍了Inception模型从原始到Inception v4的演变过程，重点阐述了各版本如何逐步减少参数量。如Inception v1在卷积层前加1*1卷积层，Inception v2用两个3*3卷积层代替5*5卷积层，Inception v3拆分3*3卷积层，Inception v4结合了v2和v3的变形。

从一步一步减少参数量方面来了解Inception模型的演变（不讨论细节）

原始Inception：

包含一个MaxPooling层和三个卷积层（1*1，3*3，5*5），之后进行合并，增加了网络的宽度。

Inception v1：

在原始Inception模型的基础上，在3*3，5*5卷积层之前，MaxPooling层之后加入了1*1卷积层，目的是减少参数量。

eg：假设input的大小为(100,100,128)，output的通道数为256，那么那么直接使用5*5卷积层的参数量为 128*5*5*256=819200；若在中间添加一层大小为(1,1,32)的卷积层，那么参数量减小为128*1*1*32+32*5*5*256=208896。

Inception v2：

在Inception v1模型的基础上应用了当时的主流技术，在卷积之后加入了BN层，使每一层的输出都归一化处理；同时将Inception v1模型中的5*5卷积层用两个3*3卷积层来代替。

eg：我们继续上面的例子，计算仅使用5*5卷积层的参数量为32*5*5*256=204800；若将5*5卷积层用两层3*3卷积层来替代，则其参数量减小为32*3*3*32+32*3*3*256=82944。

Inception v3：

在Inception v2模型的基础上再一次对卷积核进行拆分，将3*3卷积层变为两层，这两层的卷积核大小分别为1*3和3*1。

eg：我们继续上面的例子，已知在Inception v2模型中第三列的卷积层参数量为32*3*3*32+32*3*3*256=82944，若将3*3卷积层拆分成1*3和3*1卷积层，其参数量减小为32*1*3*32+32*3*1*32+32*1*3*32+32*3*1*256=33792。

Inception v4：

Inception v4模型比较特殊，其一共包含三种Inception模块，分别记为Inception-A,Inception-B和Inception-C，占比为4：7：3，其中Inception-A就是Inception v2，Inception-B将Inception v3模型中所有的1*3和3*1卷积层变为1*7和7*1卷积层，Inception-C将Inception v3模型中最后一组1*3和3*1卷积层变为并列层。Inception v4为Inception v2模型与Inception v3变形模型的结合使用，此处不再计算参数量。