u011576009的博客

简明扼要说一下二阶段网络训练的pipeline，一些基本概念还需要自行去查询一下，这里就不做介绍了RPN网络的训练需要的输入有之前卷积层得到的featuremap，anchor的规格（size,scale等能表达anchor大小的参数），label 由featuremap上的每个位置映射回到原图上，再结合给出的anchor规格，得到原图每个区域(特征图上每个点对应原图一个区域)的anch...

超参数重要度：1，学习率lr2，动量参数beta（一般为0.9），batchsize大小，隐藏层神经单元个数3，学习率衰减，隐藏层的层数4，如果使用的是adam优化，则就是其参数beta1,beta2,epsilon...

转自知乎：https://www.zhihu.com/question/39523290

Sigmoid函数：Tanh函数：优势：Tanh函数是0均值的更加有利于提高训练效率，由于Sigmoid输出是在0-1之间，总是正数，在训练过程中参数的梯度值为同一符号，这样更新的时候容易出现zigzag现象，不容易到达最优值。具体推导详见知乎：https://www.zhihu.com/question/50396271?from=profile_question_card...

普通的梯度下降算法在寻找最优解的过程中会酱紫：可以看到是存在不断抖动的使用了带动量的梯度下降，由于梯度的计算使用了指数加权平均方法，使得本次梯度的计算和之前是有关联的，这样就能抵消比如梯度在上下摆动的这种状况，而真正的下降方向（朝右边走）却能很好保持，这样使得收敛优化变得更快...

1，data augmentation2，L2 norm3，drop out4，early stopping

1，划分比例：对于小型数据集，train,validate,test划分一般为：60%,20%,20%对于大型数据集，一般验证集和测试集没必要太多，因为只要满足其作用就行，一般不到20%甚至不到10%2，确保验证集和测试集分布相同，这样方便模型评估3，只有验证集而没有测试集容易出现过拟合现象...

目标检测评价指标

DenseNet详解

深度学习各种trick

交叉验证

本文主要来源：http://blog.youkuaiyun.com/lanmeng_smile/article/details/49903865 归一化的作用

Very Deep Convolutional Networks for Large-Scale Image Recognition

网络上大部分整理的博文都是关于YOLO以及YOLOv2的finetune过程，但由于实际的业务数据的要求，需要得到与之匹配的预训练模型，本文将使用YOLO的网络进行预训练，得到适合自己的分类器。 文章参考链接地址：https://pjreddie.com/darknet/train-cifar/