调参2

数据增强

1、归一化

2、图像变换

      2.1 翻转、拉伸、裁剪、变形

3、色彩变换

      2.2 对比度、亮度

4、多尺度（裁剪……）

 

更多的调参技巧

1、拿到更多的数据

2、给神经网络添加层次

3、紧跟最新进展，使用新方法

4、增大训练的迭代次数

5、尝试正则化项 ||w||²

6、使用更多的GPU来加速训练

更多的调参技巧

可视化工具来检查中间状态

    1、损失

    2、梯度

    3、准确率

    4、学习率

在标准数据集上训练

在小数据集上过拟合

数据集分布不平衡

使用预调整好的稳定模型结构

fine-tuning

     预训练好的网络结构上进行微调

 

总结

更多优化方法

激活函数的优劣

初始化方法

批归一化

数据增强