GoogLeNet Inception v1详解

GoogLeNet Inception v1

论文《Going Deeper with Convolutions》

1. 研究背景

提高神经网络的性能，最直接的方法就是增加神经网络的大小，大小包括了网络的深度和宽度。

但是一味地增加网络大小，会带来一些不利的影响：

1. 神经网络的大小增加，会带来大量的参数，模型更容易出现过拟合问题；
2. 神经网络的大小增加，会使模型在训练过程中的计算开销增加。

解决上述问题方法，在模型中引入稀疏性（sparsity），用一个稀疏的网络结构去代替现有的全连接网络结构，以减少网络中的参数数量和计算量。

卷积神经网络（convolutional neural network）就是通过使用卷积层向模型引入空间域的稀疏性。

使用稀疏结构还带来了一个新的问题，即计算机对于稀疏数据结构的运算效率比较低。

2. 设计思路

文中也通过使用卷积层向模型引入稀疏性。

为了解决结果计算效率低的问题，文中参考了稀疏矩阵计算的文献，通过将稀疏矩阵聚集为一个相对稠密的矩阵的方法来提高矩阵乘法的运算性能。

文中还参考了《Robust object recognition with cortex-like mechanisms》中使用一系列不同大小的Gabor滤波器去处理图像的方法，尝试使用在一层中使用多个不同大小的filter，这也符合了稀疏矩阵聚集为稠