hzlil的博客

Boosting方法训练基分类器时采用串行的方式，各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一层基分类器分错的样本，给予更高的权重。测试时，根据各层分类器的结果的加权得到最终结果。 Boosting的过程很类似于人类学习的过程（见图12.1），我们学习新知识的过程往往是迭代式的，第一遍学习的时候，我们会记住一部分知识，但往往也会犯一些错误，对于这些错误，我们的印象会很深。第二遍学习的时候，就会针对犯过错误的知识加强学习，以减少类似的...

一、Bagging从训练集中进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果。二、Boosting训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。三、Stacking 将训练好的所有基模型对训练基进行预测，第j个基模型对第i个训练样本的预测值将作为新的训练集中第i个...

目录一、算法初步认识1、思想：2、特点：3、流程：4、案例：二、决策树的三种基本类型1、ID3算法2、C4.5算法3、CART三、三种基本类型比较1、划分标准的差异：2、使用场景的差异：3、样本数据的差异：4、样本特征的差异：5、剪枝策略的差异：#博学谷IT学习技术支持#一、算法初步认识1、思想：决策树算法属于监督学习方法。类似 if-else 逻辑判断的树结构，if是条件特征，then是类标签决策，按照特征顺序建立...

一、线性回归概念一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。二、特征方程三、求解方法1、最小二乘法(LSM) 以特征值为变量，对残差平方和进行求偏导，以便找到损失的最低点 用矩阵表示目标函数，就是用差值矩阵的偏置矩阵乘矩阵，然后在求特征值的偏导...

#博学谷IT学习技术支持# 数据分析师，除了数理统计、统计学、Excel函数等基本技能之外，还需要掌握数据挖掘算法，进行深度挖掘出有价值的数据，这也是数据分析专家和一般数据分析师的差距之一。 数据挖掘算法主要有分类算法、聚类算法和关联规则三大类，这三类基本上涵盖了目前商业市场对算法的所有需求，而这三类里又有非常多的细分。算法分类 连接分析：PageRank 关联分析：Apriori 分类算法：C4.5...

#博学谷IT学习技术支持# 数据分析师，除了数理统计、统计学、Excel函数等基本技能之外，还需要掌握数据挖掘算法，进行深度挖掘出有价值的数据，这也是数据分析专家和一般数据分析师的差距之一。数据挖掘算法主要有分类算法、聚类算法和关联规则三大类，这三类基本上涵盖了目前商业市场对算法的所有需求，而这三类里又有非常多的细分。算法分类连接分析：PageRank关联分析：Apriori分类算法：C4...