sigtem的博客

转载自https://www.cnblogs.com/hutao722/p/9842199.htmlBatch Normalization（批量标准化，简称BN）是近些年来深度学习优化中一个重要的手段。BN能带来如下优点：加速训练过程； 可以使用较大的学习率； 允许在深层网络中使用sigmoid这种易导致梯度消失的激活函数； 具有轻微地正则化效果，以此可以降低dropout的使用。　　但为什么BN能够如此有效？让我们来一探究竟。一、Covariate Shift　　Convariat

之所以要手动编写数据生成器是因为我做的工作是图像回归，而不是图像分类。也就是说作为监督学习的标签是连续型变量而不是离散型变量，而据我所知keras自带的ImageDataGenerator类只能用于图像分类。网上已有不少自己写的数据生成器，但如果希望对比训练数据集和测试数据集的效果，在训练模型时调用fit_generator()方法时参数validation_data支持的数据生成器必须是keras.utils.Sequence的子类。查了一遍keras文档，继承Sequence的类并不难写，文档里给了一个

机器学习跟统计学有很多联系，的确这两个专业有很多共性，但本文尝试列举一些差异，供大家参考和对比，也欢迎大家补充。 机器学习 统计学 定义 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心。 统...

对于回归模型，最小二乘法是通过最小化残差平方和来估计回归系数的方法。残差平方和就是预测值跟样本之间的差的平方和，残差平方和除以样本量n就是均方误差，即通常所说的损失函数。回归模型的损失函数不宜直接用残差平方和而要用均方误差是因为残差平方和是所有样本点残差平方的总和，会随着样本量增大而增加，不能体现样本点残差的平均水平。以一元回归模型为例，损失函数为\[loss=\frac{1}{2n}\sum...