github_35304705的博客

关于经典决策树算法ID3、C4.5及CART树的部分细节梳理，原文见决策树算法。决策树决策树可以从两个视角理解。If-Then规则的集合定义在特征空间与类空间上的条件概率分布经典决策树对比经典决策树有ID3、C4.5以及CART树，其功能和学习过程各有异同，简单对比。算法分裂标准树类型特征类型缺失剪枝任务ID3信息增益多叉离散No无剪枝...

XGBoost是经典的提升树学习框架，其配套论文和PPT分享也相当经典，本文简单梳理其思路，原文见XGBoost原理简介。整体思路和一般提升模型一样，提升树模型也遵循相同的范式采用加法模型「forward stage-wise manner」每轮引入一weak learner「此处是一棵CART树」学习之前weak learners的不足「用梯度表征」同时要考虑过拟合等问题「ove...

Linear/Logistic/Softmax Regression是常见的机器学习模型，且都是广义线性模型的一种，有诸多相似点，详细对比之。原文见Linear/Logistic/Softmax Regression对比。概述Linear Regression是回归模型，Logistic Regression是二分类模型，Softmax Regression是多分类模型，但三者都属于广义线性「...

损失函数(Loss Function)用来估量模型的预测值 y^=f(x)\hat y = f(x)y^​=f(x) 与真实值 yyy 的不一致程度。这里做一个简单梳理，以备忘，原文见损失函数清单。回归问题常见的回归问题损失函数有绝对值损失、平方损失、Huber损失。绝对值损失又叫做L1损失。L(y,y^)=∣y−y^∣L(y, \hat y) = |y - \hat y|L(y,y^​...