AC_kereo的专栏

一. 知识点 Bias-Variance Tradeoff bias-variance是分析boosting和bagging的一个重要角度，首先讲解下Bias-Variance Tradeoff. 假设training/test数据集服从相似的分布，即 yi=f(xi)+ϵi,yi=f(xi)+ϵi,y_i = f(x_i) + \epsilon_i, 其中 noise ϵiϵ...

一.知识点 二.特征重要性评估     基于树的集成算法有一个很好的特性，就是模型训练结束后可以输出模型所使用的特征的相对重要性，便于理解哪些因素是对预测有关键影响，有效筛选特征。 Random Forest 袋外数据错误率评估 由于RF采用bootstrapping有放回采样, 一个样本不被采样到的概率为 limm→∞(1−1m)...