MrLQD

关于采样：bagging:总的训练样本个数P，每次随机抽取N（N<=P）个样本做训练集，训练完了把N个样本重新放回总样本中。显然当前抽取的样本的某些样本可能与前一次抽取的某些样本是相同的。如果有M个分类器（需要训练M次），则抽取M次。boosting：总的训练样本个数P，每次用全部样本做训练集，每个样本人为的赋于一个权重。样例权重：Bagging：使用均匀取样，每个样例的权重...

在大大小小的面试过程中，多次被问及这个问题：“请说一下逻辑回归（LR）和支持向量机（SVM）之间的相同点和不同点”。第一次被问到这个问题的时候，含含糊糊地说了一些，大多不在点子上，后来被问得多了，慢慢也就理解得更清楚了，所以现在整理一下，希望对以后面试机器学习方向的同学有所帮助（至少可以瞎扯几句，而不至于哑口无言ha(*＾-＾*)）。（1）为什么将LR和SVM放在一起来进行比较？回答这个问...

前言XGBoost跟GBDT是两种应用非常广泛的树模型,之前在几种最优化方法对比中,简单回顾了一下几种常见的最优化方法,算是对这篇内容的简单铺垫. 形象地来说, XGBoost与GBDT都是基于Boost方法的树模型, 是类似的算法模型, 都是函数优化问题. 二者最根本的区别就在于最优化的方法不同,GBDT在函数空间中利用梯度下降法进行优化, 而XGBoost在函数空间中用牛顿法进行优化 同时X...