At_a_lost的博客

偏差度量了学习算法的期望预测和真实结果的偏离程度，刻画的是算法本身的拟合能力；方差度量了同样大小的数据集下数据变动导致学习性能的变化，刻画的是数据扰动造成的影响。当数据集小时，此时偏差占据主导地位，误差是由偏差决定的，当学习算法学习能力过强时，这时学到了整个训练数据集的所有特点，此时进行预测，即使一个很小特征的波动都会对最终结果产生很大的影响，这个时候是方差占据主导地位。...

一 损失函数介绍损失函数用于描述模型预测值与真实值的差距大小。一般有有两种常见的算法——均值平方差（MSE）和交叉熵。下面来分别介绍每个算法的具体内容。1 均值平方差均值平方差（Mean Squared Error，MSE），也称“均方误差”，在神经网络中主要是表达预测值和真实值之间的差异，在数理统计中，均方误差是指参数估计值与参数真值之差平方的预期值，主要用于回归问题。公式如下：主要是对每一个真实值与预期值相减的平方取平均值均方误差的值越小，表明模型越好，拟合程度也越好，泛化性能也

最大似然估计是利用已知的样本的结果，在使用某个模型的基础上，反推最有可能导致这样结果的模型参数值。在理解极大似然估计之前我们首先要了解概率和似然，概率是事件未发生前预测事件发生的概率，当事件发生时这个概率就已经确定，不在改变，而似然是事实已经发生去推测发生的条件，当事件与条件一一对应时似然值大小等于概率值大小，即 L(&|x) = P(x|&)。举例说明：假设一个袋子装有白球与红球，比例未知，现在抽取10次（每次抽完都放回，保证事件独立性），假设抽到了7次白球和3次红球，在此...