Jadelyw的博客

1.    怎样评估一个机器学习算法的好坏？机器学习的目的就是为了能够让先前未观测到的数据在训练模型上有良好的表现。这种在先前未观测到的输入上表现良好的能力称为泛化(generalization)。所以，泛化能力越强的模型对应的算法越好。2.    泛化误差具体怎样表达？通过度量模型在测试集上的性能，来评估机器学习模型的泛化误差。所以，模型在训练的过程中是最小化训练误差，而我们关注的是测试误差(泛...

1 定义       偏差指的是算法在大型训练集上的错误率， 方差指的是算法在测试集上的表现低于训练集的程度。       一些学习算法的改变能解决误差来源的第一个部分-偏差，提高算法在训练集上的性能；而一些改变能解决第二部分-方差，帮助算法从训练集到测试集上更好的泛化。建立偏差和方差的良好直觉能够为算法的选择带来有效的改变。2 例子1)训练错误率=1%， 测试错误率=11%       根据定义...

1. 偏差和方差       了解导致偏差(bias)和方差(Variance)的不同误差源有助于我们改进数据的拟合过程，从而产生更准确的模型。我们以三种方式定义偏差和方差：概念、图形和数学。1.1 概念      由偏差引起的误差：由偏差引起的误差被视为模型的期望或者平均预测与正确值之间的差异。当然，我们只有一个模型，之所以说期望或者平均预测值是可以假设多次重复整个模型的构建过程。偏...

1.1 数据同分布当我们训练完成一个分类器，并想把它应用到实践的，可能遇到在训练的过程中效果很好，但是在实践的过程中效果非常差，这种情况说明我们训练分类器的数据集的分布和我们实践过程的数据的分布不同，导致算法的泛化能力很差。开发集和测试集数据分布不同将会导致开发的系统在开发集上表现良好，但在测试集上却表现不佳。这种情况下解决方案就不那么明确了，此时可能存在以下一种或者多种情况：1. 在...

转载：https://zhuanlan.zhihu.com/p/34079183二分类问题的结果有四种：预测是positive-1和negative-0，true和false描述本次预测的对错。True Positive, TP：预测为1，且实际为1，即预测正确；False Positive, FP：预测为1，而实际为0，即预测错误；False Negative，FN：预测...