物理小乾乾

1. 引言 机器学习是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，因此机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型（model）”的算法，即“学习算法”。有了学习算法，我们把经验数据提供给他，就能基于这些数据产生模型。因此奇迹学习是研究“学习算法“的学问。 2.基本术语 数据集(data s

2.1 经验误差与过拟合通常我们把分类错误的样本总数的比例称为错误率（error rate），即如果在m个样本中有a个样本分类错误，则错误率E=a/m;相应的，1-a/m称为”精度”(accuracy),更一般的，我们把学习器的实际预测输出与样本的真实输出之间的差异称为“误差”,学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”。 过拟合（overfitting）

1.原理决策树的建立是不断的使用数据的特征将数据分类的过程，主要的问题在于如何选择划分的特征。2.划分选择 ID3算法：以信息增益度量属性选择，选择分裂后信息增益量最大的属性进行分裂。缺点：偏向于多值属性。 C4.5算法：以信息增益率度量属性选择 CART算法：使用基尼系数来选择划分属性，数据集的纯度可以用基尼系数来度量 3.剪枝处理剪枝是决策树学习算法对付“过拟合”的主要手段，在决策树学习中，为了