waitingzby的博客

写在之前：像一个优秀的工程师一样使用机器学习，而不要像一个机器学习专家一样使用机器学习方法。--Google       这句话一直是我进行机器学习的指导思想。诸如Scikit-learn等机器学习类库，使得机器学习的使用更加简便容易，那我们为什么还要去理解算法本身的数学原理和代码实现呢？在我看来，这就好比华山派的剑宗和气宗，剑宗强调招式，易于速成，气宗强调心法，以不变应万变。调用类库就好比给了你...

用xgboost模型对特征重要性进行排序在这篇文章中，你将会学习到：xgboost对预测模型特征重要性排序的原理（即为什么xgboost可以对预测模型特征重要性进行排序）。 如何绘制xgboost模型得到的特征重要性条形图。 如何根据xgboost模型得到的特征重要性，在scikit-learn进行特征选择。 梯度提升算法是如何计算特征重要性的？使用梯度提升算法的好处是在提升...

Python下Gradient Boosting Machine(GBM)调参完整指导简介：如果你现在仍然将GBM作为一个黑盒使用，或许你应该点开这篇文章，看看他是如何工作的。Boosting 算法在平衡偏差和方差方面扮演了重要角色。和bagging算法仅仅只能处理模型高方差不同，boosting在处理这两个方面都十分有效。真正地理解GBM能够给你处理这些关键问题的信心。在这篇文章中，...

基于ID3、C4.5与CART的决策树三生成与剪枝原理详解1、决策树学习决策树学习本质：从训练数据集中归纳出一组分类规则。可能有多个，可能没有。我们需要的是一个与训练数据矛盾较小的决策树，同时具有很好的泛化能力。另一方面看，决策树表示一个条件概率分布，所以深浅不同的决策树对应着不同复杂度的概率模型。决策树学习的损失函数：决策树学习用损失函数表示这一目标，损失函数通常是正则化的极大似然函数。决策树学...

xgboost原理详解不多说，是我看过的写的最好的xgboost原理详解博客，没有之一。绝对的良心资源。如果所有机器学习算法原理详解都能写成这样，机器学习将变成一种享受。向原作者致谢！转载文章链接：https://blog.youkuaiyun.com/gentelyang/article/details/80100300...

模块化决策树函数的python实现标准的决策树不适合处理连续型数据，CART可以处理连续型数据，但是前提假设决策树是二叉树，也就是说不适合处理特征取值3个及以上的离散数据生成多叉树。本文代码实现的决策树结合两者的优点，既能处理离散型和连续型数据；且生成的决策树可以同时存在二叉和多叉；同时支持基于信息熵的信息增益、信息增益比和基尼指数的特征划分函数的选择。为了在递归生成决策树时提高代码复用，...

由于文章涉及大量公式，在优快云中公式又很难编辑，所以全部在word中编辑好然后直接上图片了。