inception V1阅读笔记（未完）

inception V1阅读笔记（未完）
·达到了能在保持计算负担不变时能增加模型的深度和宽度。

·取得了ILSVRC-2014的分类和检测任务的冠军。作者设计的网络具有很大的depth和width，但是参数数量却仅为AlexNet的1/12。

·对于目标检测来说取得的成就不仅仅在于更大的模型，而是来自于深度模型和传统cv方法的协同作用(synery)。如R-CNN

·对于移动端和嵌入式设备的应用使得对于模型的算法提出了更高的要求，之后对于深度模型改进的考虑也包含了这方面，而不仅仅局限于精确度的提升（这是在嘲讽VGG啊）。

·由神经科学对灵长类生物视觉表皮层的研究，Serre等人用一系列固定大小的Gabor Filters来应对不同的大小，Inception模块与此相似

·NIN网络是一种用来提升模型表达能力的方式，1*1的卷积在Inception模块中的使用的目的：降维，减少计算量，移除计算瓶颈，这样就能使在不增加计算负担的情况下让模型的深度和宽度上得到增加。（深度：层的个数；宽度：每一层单元格个数）

·增加模型的深度和宽度是一种提升模型性能的简单且安全的方式，尤其是有大量的标注过的数据时，但是这种简单的方式会有两个弊端：1.更大的模型意味着更多的参数，这就使得模型更易于过拟合，过拟合就需要更多的数据，但是收集数据又是一项十分棘手的工作。2.增大网络的大小会极大的增加计算负担，同时会有很多的无效计算出现（比如最后权重趋近于0）。由于计算能力是有限的，对其的合理分配比无脑加大网络规模要好得多。

·提出解决这两种问题的方案：用系数连接代替稠密结构。