weixin_51671868的博客

​ 线性回归是线性模型的一种典型方法。产品销量预测、岗位薪资预测，都可以用先线性回归来拟合模型。从某种程度上来说，回归分析不再局限于线性回归这一具体模型和算法，更包含了广泛的由自变量到因变量的机器学习建模思想。

​ 为了构建一棵分类性能良好的决策树，我们需要从训练集中不断选取具有分类能力的特征。如果一个特征能够使得分类后的分支节点尽可能属于同一类别，即该节点有着较高的纯度，那么就说这个特征有对数据集有较强的分类能力。​ 决策树的特征选择就是从数据集中选择具备较强分类能力的特征类对数据集进行划分。在决策树中有三种常见的特征选择方法：信息增益、信息增益比和基尼系数，对应三种决策树算法为ID3ID3ID3，C4.5C4.5C4.5，CARTCARTCART。