marmalade要天天向上

step1:特征子集搜索前向搜索后向搜索双向搜索详见瓜书p248step2:子集评价理解：特征子集A实际上确定了对数据集D的一个划分，每个划分区域对应着A上的一个取值，而样本标记信息Y则对应着D的真实划分，通过估算这两个划分的差异，就能对A进行评价。评价标准：与Y对应的划分的差异越小，则说明A越好。一、具体的计算方法（1）卡方检验统计学第9章（2）方差分析（3）信息增益？...

GBDT(梯度提升决策树，gradient boost decision tree 的实现：XGBoost、pGBRT、sklearn、gbm in R 。pGBRT通过直方图实现算法。XGBoost支持预排序和直方图算法。已有研究：如何实现GBDT速度提升：1）减少训练数据：已有随机采样(SGB:准确率下降)，根据样本权重筛选(GBDT没有native weights for data ...

两大类：串行：boost (e.g.adaboost, xgboost) , 减小偏差(主并行：bagging(e.g. RF)，减少方差(主boost对特定的数据分布进行学习：re-weighting, re-sampling？基础adaboost只适用于二分类bagging样本随机性：自主采样法63.2%特征随机性：随机森林用到了,属性子集k=log2(d)(训练效率更高，泛化...

>>> from sklearn import svmX = [[0,0], [1,1],[2,2],[3,3]]Y = [0, 1,2,3]clf = SVC( probability=True)clf.fit(X,Y)print(clf.predict([[0,0], [1,1],[2,2],[3,3]]))print(clf.predict_proba([[0...

https://www.cnblogs.com/nolonely/p/7007961.html学习器模型中一般有两个参数：一类参数可以从数据中学习估计得到;还有一类参数无法从数据中估计，只能靠人的经验进行指定，后一类参数就叫超参数比如，支持向量机里的C，Kernel，gama，朴素贝叶斯里的alpha等，在学习其模型的设计中，我们要搜索超参数空间为学习器模型找到最合理的超参数，可以通过以...

https://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.SelectKBest.html注意：sklearn.feature_selection 和sklearn.feature_extraction不是一回事奥！

https://lightgbm.readthedocs.io/en/latest/Python-API.htmlmodel API:class lightgbm.LGBMModel(boosting_type=‘gbdt’, num_leaves=31, max_depth=-1, learning_rate=0.1, n_estimators=100, subsample_for_bin=...

http://www.zeroyx.com/index.php?r=site/art&id=17&title_id=121

https://blog.youkuaiyun.com/m0_37534550/article/details/88060071