深度学习之图像分类_深度学习图像分类(1)

利用好tricks可以有效改善模型精度，下面介绍各种方法

方法一：魔改网络结构

（1）使用resnet的shortcut方法

（2）使用Inception 多尺度卷积核

（3）使用convolution的stride代替pool层

（4）使用正则化方法Batch normalization、Layer normalization、Instance normalization、Group Normalization;如果使用多GPU可以使Synchronized Batch Normalization

（5）对于不规则目标使用deform convolution

（6）轻量化模型使用group convolution

（7）小卷积核大视野使用dilate convolution

（8）去掉线性层使用全卷积层

（9）如果使用线性层，使用一维的Normalization，可以加快收敛并且（此方法其他网络没有）

方法二：模型初始化

（1）如果不使用finetune方法，尽量不使用随机初始化，推荐kaiming方法初始化，是xavier的改进版；

（2）大力推荐finetune方法，少量数据就可达到较高的accuracy;

方法三：损失函数和优化器

（1）一般分类使用softmax+Cross Entropy损失,MSE（均方误差）由于非凸函数，尽量不使用

（2）优化器推荐又快又好的AdaBound(新鲜出炉的算法，比SGD快，比Adam好，反正是又快又好！！！)

方法四：学习率调整

（1)Warmup

(2)Linear scaling learning rate

(3)力荐cosine learning rate或ReduceLROnPlateau learing rate

方法五：激活函数

（1）sigmoid,tanh由于后期梯度消失或者梯度很小，导致收敛比较慢，尽量不使用；

（2）推荐relu及其各