toplatona

这里主要介绍集成学习的基本思想，然后讨论常用的集成学习方法，如：bagging、boosting、stacking         集成学习是对其他算法（模型）进行组合的一种方式，其思想与人们在面临重要决定时会听取多个人的意见而不是单个人的意见是类似的。构建的一系列模型是基学习器（弱学习器：准确率大于0.5即可），通过使用不同的策略将基学习器聚合起来，这种聚合起来的模型犯错率会降低。集成方法的

决策树1.基本流程         决策树(Decisiontree)是一类常见的机器学习方法。决策树学习的目的是，从给定训练数据集学得一个模型用于对未见数据进行分类，我们希望这棵树泛化能力强，也就是说对未见示例的处理能力强。下面看一个简单的范例：                 在对“这是好瓜吗？”这一问题进行决策的过程中，我们通常会进行一系列的子决策，如瓜的颜色、根蒂、

预剪枝：是在决策树的生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分即结束树的构建并将当前节点标记为叶结点；后剪枝：是先从训练集生成一棵完整的决策树，然后自底向上地对叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化为性能提升，则将该子树替换为叶结点。泛化性能的提升可以使用交叉验证数据来检查修剪的效果，通过使用交叉验证数据，测试扩展节点...

1.贝叶斯决策论         贝叶斯分类器是一类分类算法的总称，贝叶斯定理是这类算法的核心，因此统称为贝叶斯分类。贝叶斯决策论通过相关概率已知的情况下利用误判损失来选择最优的类别分类。　　“风险”(误判损失)= 原本为cj的样本误分类成ci产生的期望损失，期望损失可通过下式计算：为了最小化总体风险，只需在每个样本上选择能够使条件风险R(c|x)最小的类别标记。最小化分类错误率的贝叶斯最优分类器...