海阔天空

1、先来个正式的定义：决策树是一个树结构（可以是二叉树或非二叉树）。其每个飞叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，知道到达叶子节点，将叶子节点存放的类别作为决策结果。2、决策数分为分类树和回归树。分别针对应于离散变量和连续变量。3、

LR与SVM的相同点：*LR和SVM都是分类算法*如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。*LR和SVM都是监督学习算法*LR和SVM都是判别模型 –判别模型会生成一个表示p(y|x)的判别函数（或预测模型）， –生成模型先计算联合p(y,x)然后通过贝叶斯公式转化为条件概率。 –常见的判别模式：KNN、SVM、LR，常见的生成模型有：

监督机器学习问题无非就是再规则化参数的同时最小化误差。*最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。规则化参数的作用：*使得模型简单，且具有好的泛化性能（也就是测试误差小）*将人对这个模型的先验知识融入到模型的学习当中，使得模型具有稀疏、低秩、平滑等等特性。规则化符合奥卡姆剃刀原理*思想：在所有可能选择的模

在网上看到一篇对从代码层面理解gbdt比较好的文章，转载记录一下： GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。