本文介绍了特征选择的方法，包括方差阈值过滤、单因素统计检验等，并探讨了sklearn.preprocessing模块中的数据预处理技术，如归一化数据及拆分训练集和测试集。此外还涉及了随机梯度下降、线性判别分析等内容。
一、Feature Selection
1.过滤掉方差太小的变量
sklearn.feature_selection.VarianceThreshold
2. 用单因素统计检验
sklearn.feature_selection.f_classif 方差分析
sklearn.feature_selection.chi2 卡方检验
3. Select Fpr、Fdr、Fwe
4. 递归特征淘汰
先用所有feature建模，模型给出每个feature的权重，剔除最差的feature，重新建模，看效果，如此循环。
sklearn.feature_selection.RFECV
二、sklearn.preprocessing
归一化数据、拆分训练集合测试集等
三、SGD随机梯度下降
SGDClassifier、SGDRegression适用于大数据量
随机梯度下降：每次迭代是纳入一个新的样本点，更新参数使这个样本的残差最小即可，只需迭代n-sample次，但会走弯路，结果也只是逼近极小值。
批梯度下降：按学习速率确定的步伐大小每次更新参数，解损失函数的极小值时，每次迭代要把所有数据都参与计算，不适用于大数据量。
四、LDA线性判别分析
有监督的分类、降维
原理：向低维度投影后，类内方差最小，类间方差最大
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
