计算机视觉----------图像分类

AlexNet网络：

五个卷积层+三个全连接层

60M个参数，650个神经元

2个分组---->2个GUP 

1x1卷积：

实现统一像素点上的各个通道的值的线性组合

作用是实现阔通道的交互和信息整合，进行卷积核通道数的降维和升维

VGG网络：

用于探究在大规模图像是别人物种，卷积网络深度对模型精确度有何影响

一个大卷积核分解成连续多个小卷积核

减少参数，降低计算，增加深度

GoogLeNet网络：

进化顺序：inception V1 ---> inception V2------> inception V3  -------->    inception V4

inception V1:核心组件Inception Architecture

增加网络多多尺度的适应性，增加网络宽度

使用1x1卷积进行特征降维：大幅降低计算量

取消全连接：参数量大，减负

辅助分类器：解决前几层的梯度消失问题

inception V2:核心组件Batch Normalization（批归一化）

白化：使每一层的输出都规范到（0，1）

解决Internal covariate shift 问题

允许较高学习率

inception V3：核心组件：

非对称卷积，NxN分解成1xN----->Nx1

降低参数数量和计算量

取代部分dropout

5x5卷积核----->2个3x3卷积核

ResNet残差网络：

核心组件：Skip/shortcut connection

plain net: 可以拟合出任意目标映射H（x）

Residual net:可以拟合出任意目标映射F（x）,H(X)=F(X)+X

全是3x3卷积核，卷积步长2取代池化，使用Batch Normalization

取消MAX池化层，全连接层，dropout

ResNeXt网络：

提出第三个维度，除了深和宽

cardinality(基数)：

采用Spilt-Transform-Aggregate策略

将卷积核按通道分组，形成32个并行分支

低维度卷积进行特征变换

加法合并

CNN设计准则：

避免信息瓶颈，卷积过程中，HxW逐渐变小，通道数逐渐变大

H x W x C要缓慢变小

感受野要足够大