AiirrrrYee的博客

提升：将弱分类器进行提升，形成强分类器。 两种基本思想： 1、梯度提升（Gradient Boosting, GB） 在每一步生成弱分类器后，依据损失函数的梯度方向，迭代选择负梯度方向上的基函数，逼近局部极小值。 ->GBDT & Xgboost 2、样本加权 考虑提高分类错误样本的权值，即每次更关心做错了的部分，从而提高分类器的能力。

对数据分布的依赖Linear SVM：不依赖，只考虑margin附近的数据LR：受所有数据的影响Loss FunctionLinear SVM：maximum marginLR：log lossFocusLinear SVM：最大化margin，关注support vector，其他点不重要LR：最大化probability，离分离超平面越远越好

理解LR：1、函数映射：对数线性模型，将线性wx映射到sigmoid中转为概率，input和output仍是线性关系。                    2、对数几率：输出Y＝1的对数几率是输入x的线性函数，log(p/(1-p))＝wx。                    3、概率角度：第i个样本预测正确的概率P(y|x; theta)=(h(x)^y)(1-h(x)^(1-y)

分裂XGB：Level-wise，一次分裂同一层的叶子，但很多叶子分裂增益低、有不必要的搜索和分裂LGB：Leaf-wise with 深度限制，从所有叶子中找增益最大的叶子分裂决策树算法XGB：exact决策树LGB：Histogram加速XGB：无LGB：直方图做差（父－兄弟）categorical featureXGB：需要one hot / dummyLGB：支持直方

改进 直方图算法（Histogram） 根据直方图中的离散值，遍历寻找最优分割点： 把连续的浮点特征离散 -> k个整数 -> 宽为k的直方图 遍历，离散化的值作为索引，在直方图中累积统计量加速叶子 ＝ 父 － 兄弟 （直方图做差）Leaf-wise带深度限制的叶子生长策略支持categorical feature并行feature parallel：每个worker中有所有fea

取样Bagging：均匀取样，随机，各轮之间独立Boosting：根据错误率预测函数权重Bagging：无Boosting：有预测函数生成顺序Bagging：并行Boosting：串行

CatBoost = Category + Boosting 2017年7月21日，俄罗斯Yandex开源CatBoost，亮点是在模型中可直接使用Categorical特征并减少了tuning的参数。建树的过程初步计算splits 对每个数值特征二值化，选择可能的分桶方式，结果用于选择树结构。binarization method (feature_border_type) 和number

采样方式（单次） - RF：有列采样（从d个feature中抽k个构成特征子集，再选择一个最优特征用于划分）；行采样方式相同（有放回的采样，数据集包含m个样本则有放回的采m个样本，有重复和未出现的样本） - Bagging：无列采样；行采样方式相同特征选择方式： - RF：选取部分特征（列采样），随机型Decision Tree，只考察一特征子集 - Bagging：选取全部特征，确

CatBoost参数简单中文解释。

Gamma函数实质：阶乘在实数域上的推广 即， 使用分部积分，可得 Beta分布概率密度函数 其中， (Gamma函数) 期望为 Dirichlet分布Beta分布从2到K的推广概率密度函数 其中， 简记为 期望为 分析： 是参数向量，共K个 定义在K－1维上Symmetric Dirichlet 在没有先验时，K维未知退化为2维：K， 其中，

总结来说，Ridge、LASSO、Elastic Net是线性回归的三种方法，添加了不同惩罚因子的损失函数J(θ)。首先简单介绍线性回归的相关概念。 损失函数（目标函数）： 为了防止过拟合（θ过大），在目标函数J(θ)后添加复杂度惩罚因子，也就是正则项。 正则项可以使用l1-norm、l2-norm，或结合l1-norm、l2-norm。 这就分别对应Ridge（岭