xyz的博客

传统算法（一）：线性回归一、什么是线性回归线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。举一个栗子数据：工资和年龄（2个特征）目标：预测银行会贷款给我多少钱（标签）线性回归考虑：工资和年龄都会影响最终银行贷款的结果那么它们各自有多大的影响呢？（参数）工资年龄额度40002512000...

传统算法（二）逻辑回归一、是回归还是分类？在前述的线性回归中，我们的目标是找到一条线性的线，对目标的点进行拟合，经过计算之后的预测结果尽可能接近真实值；而分类，则是要把结果进行区分，如下图：我们可以很容易的找到一条线性的分类器（直线）来将红色和蓝色的点区分开来；但是现实中，很多问题并不能用线性的关系来进行分类，如下图，线性的分类肯定不能将红蓝两部分完全分开，需要采用非线性的分类器来...

传统算法（三）决策树一、决策树思想（一）树模型决策树，顾名思义可以大概猜到是根本的思想是根据参数条件（节点）来划分类，会有很多的节点，从根节点开始一步步走到叶子节点(决策)，最后所有的数据最终都会落到叶子节点。所以决策树算法既可以做分类也可以做回归举例：对一家成员来区分（判断），是否要玩电脑游戏：根节点：age小于15；2.子节点：是否是男生；（二）树模型一个决策树...

传统算法（四）集成算法一、什么是集成算法？集成学习(ensemble learning)是大概17年非常火的机器学习方法。因为它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。也就是我们常说的“博采众长”。集成学习可以用于分类问题集成，回归问题集成，特征选取集成，异常点检测集成等等，可以说所有的机器学习领域都可以看到集成学习的身影。集成算法目的：让机器学...

传统算法（五）贝叶斯算法一、贝叶斯定理简介贝叶斯定理是18世纪英国数学家托马斯·贝叶斯（Thomas Bayes）提出得重要概率论理论；贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章；正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大？逆向概率：如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜...

CatboostCatboost是什么？Catboost 的原理类别型特征Greedy TS特征组合解决预测偏移Catboost是什么？CatBoost是俄罗斯的搜索巨头Yandex在2017年开源的机器学习库，是Categorical Features(类别型特征)+Gradient Boosting(梯度提升) ，也是基于梯度提升决策树的机器学习框架。大多数流行的梯度提升算法利用决策树作...