caizd2009的博客

什么是Batch Normalization?批量标准化(BN）指的是对神经网络每一层的输入进行标准化，目的是为了解决训练过程中输入数据分布漂移——Internal Covariate Shift。什么是Internal Covariate Shift?首先机器学习算法都有一个前提假设：数据是独立同分布的。简单来说就是输入空间内的所有变量都服从某一个隐含分布，而模型则是去学习这个分布。...

什么是正则化？首先英文原文为regularization，直译应为规则化，简单来说就是对模型加入规则，加入我们的先验知识，如果觉得正则化太难理解，可以按照规则化来理解记忆。切入正题，正则化说的就是对模型引入额外信息来防止模型过拟合与提高模型泛化性能的方法统称。一般是对模型复杂程度加以惩罚，目标是降低模型的复杂度（模型的结构化风险），根据奥卡姆剃刀原理，精度靠谱的情况下越简单的模型是越值得选...

什么是AUC？AUC的定义是ROC曲线下的面积，实际意义为模型打分时将正例分数排在反例前面的概率。ROC曲线一般都会处于0.5-1之间，所以auc一般是不会低于0.5的，0.5为随机预测的auc。什么是ROC曲线？ROC中文名为：受试者操作特征（receiver operating characteristic curve）,源于二战雷达信号分析技术。ROC曲线绘制：分别计算模型结...

什么是优化算法？简单来说就是一种通过迭代逼近最优解的方法，即最优解的渐近估计方法。深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程，目前Adam应该是最常用的优化算法。为什么需要优化算法？1.有的问题并没有解析解，只能迭代求得近似解2.问...