打酱油的葫芦娃

（1） 随机森林基本原理 随机森林几乎是任何预测类问题（甚至非线性问题）的首选。随机森林是相对较新的机器学习策略（出自90年代的贝尔实验室），可应用于几乎所用问题。它隶属于更大的一类机器学习算法，叫做“集成方法”（ensemble methods）。 随机森林由LeoBreiman（2001）提出，它通过自助法（bootstrap）重采样技术，从原始训练样本集N中有放回地重复随机抽取k个样本生成新的训练样本集合

本文作为周志华《机器学习》的阅读笔记。 （1）基本流程 一般的，一棵决策树包含一个根节点、若干个内部节点和若干个叶节点。叶节点对应于决策结果，其他每个节点则对应于一个属性测试；每个节点包含的样本集合根据属性测试的结果被划分到子节点中；根节点包含样本全集。从根节点到每个叶节点的路径对应一个判定测试序列。决策树的学习目的是得到一棵泛化能力强的决策树。 决策树是递归过程，三种情形会导致递归返回： 1、当前节点包含的

本文作为周志华《机器学习》的阅读笔记。 **（1）经验误差和过拟合** 错误率：分类错误的样本数占样本总数的比例 精度：1-错误率 误差分为训练误差（或称经验误差）和泛化误差 训练误差：在训练集上的误差 泛化误差：在新样本上的误差 机器学习的目标是得到泛化误差最小的学习器。 学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当做所有潜在样本都具有的一般性质，这样就会导致泛化性能下降，称之为