zjwreal

简介CART（分类与回归树）是决策树算法的一种。此外，常见的决策树算法还有ID3，C4.5，这三者的不同之处在于特征的划分：ID3：特征划分基于信息增益C4.5：特征划分基于信息增益比CART：特征划分基于基尼指数基本思想CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征，将输...

简介LightGBM是微软开源的一套梯度boosting的框架，使用基于决策树的分布式的，高效的学习算法。是对GDBT的一种改进。LightGBM在哪些地方进行了优化基于Histogram的决策树算法带深度限制的Leaf-wise的叶子生长策略直方图做差加速直接支持类别特征(Categorical Feature)Cache命中率优化基于直方图的稀疏特征优化多线程优化基本原...

简介XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在许多机器学习竞赛中取得不错的成绩。基本思想XGboost模型的损失函数包含两部分，模型的经验损失以及正则化项：L(ϕ)=∑il(y^i,yi)+∑kΩ(fk) where Ω(f)=γT+12λ∥w∥2\begin{array}{l}{\mat...

todo

todo

简介k近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法，常用于分类。k近邻算法简单、直观：给定一个训练数据集，对于新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。基本原理k近邻法实际上利用训练数据对特征向量空间进行划分，并作为其分类的“模型”。k近邻的三个基本要素：k值的选择、距离度量及分类决策...