weixin_43008312的博客

使用了二阶导数之后，梯度下降的更快更准。Bagging所采用的基分类器最好本身是对样本分布较为敏感的（即不稳定分类器），而线性分类器、K-近邻分类器都是比较稳定的分类器，本身方差不大，以它们为基分类器使用Bagging难以获得良好的表现，甚至可能导致它们在训练时更难收敛从而增大了集成分类器的偏差。XGBoost采用level-wise生成决策树，同时分裂同一层的叶子，从而进行多线程优化，不容易过拟合，但很多叶子节点的分裂增益较低，没必要进行跟进一步的分裂，这就带来了不必要的开销；可并行的近似直方图算法。

介绍：总结面试经常问到的一些机器学习知识点（必会🌟）

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。SVM是一种二分类模型，旨在特征空间上寻找间隔最大化的分离超平面的线性分类器。逻辑回归是机器学习中一种经典的分类算法，通常用于二分类任务，训练过程中，常采用最大似然估计的方法对模型参数进行优化。在给定一个事件发生的前提下，计算另外一个事件发生的概率。条件概率：P(A|B) = P(A,B) / P(B)全概率：P(A) = 求和P(A|Bi) P(Bi)缺点：对数据敏感、对核函数的选择敏感。优点：简单、计算量小。