u012155582的专栏

什么是好？好的特征代表了灵活性、更简单的模型和更好的结果，不相关的特征则会影响模型的泛化性。因此特征选择和特征工程并非是互相排斥的，而是相辅相成的。有效的特征工程能够帮助我们提炼数据的代表。接着问题就来了，什么才是好的代表？代表的好坏取决于里面所包含信息的好坏。熵（Entropy，熵值越高，数据中所包含的信息越多），方差（Variance，方差越大，数据中所包含的信息越多），更好的分离映射（Pro...

1.熵：集和的熵值 -sum(pi * log(pi , 2))2.信息增益：集和的熵-按照特征a划分后子集的熵加权和（偏向类别数目多的属性） 3.信息增益率：信息增益/属性的熵（偏向类别数目少的属性）4.基尼值：1-集和各类别值的概率平方和（随机抽取两个样本其类别不一致的概率） 1 - sum(pi**2)5.基尼系数：按照属性a划分后各子集的加权基尼和ID3：判别式模型，分类树，多叉树，信息增...

目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosting，后者的代表是Bagging和“随机森林”（Random Forest）。随机森林自助抽样，特征采样，无剪枝，投票，减小方差1，原理：提到随机森林，就不得不提Bagging，Bagging可以简单的理解为：放回抽样，多数...

1，参数 C : float, optional (default=1.0)：惩罚系数，越大越会过拟合  kernel : string, optional (default='rbf')：核函数，linear：线性, poly：多项式, rbf：高斯, sigmoid：sigmod, precomputed：     ，callable：自定义。  degree : int, opt...

ID3 : 信息增益、集和熵-集和按照属性划分后每个子集信息熵加权和C4.5 : 信息增益率、信息增益/属性信息熵，剪枝，连续，缺失CART: 基尼系数、按照属性划分后每个子集合基尼指数加权和（1-概率平方和），二叉树，特征再分裂参数1,criterion : string, optional (default="gini")，节点分裂标准2,splitter : string, op...