数据降维
特征选择:
特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征,特征在选择前和选择后可以改变值、也不改变值,但是选择后的特征维数肯定比选择前小,毕竟我们只选择了其中的一部分特征。
Filter(过滤式):VarianceThreshold
def var(): """ 特征选择-删除低方差的特征 :return: None """ var = VarianceThreshold(threshold=1.0) data = var.fit_transform([[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]]) print(data) return None
主成分分析(PCA):
一般用于特征数量达到上百的时候,但是数据会改变,特征数量也会减少
合并表格:
一定注意合并的两个表格一定要有相同的特征
数据类型:
离散型数据:区间内不可分
连续型数据:区间内可分
机器学习算法分类
监督学习:有特征值+目标值
•分类 k-近邻算法、贝叶斯分类、决策树与
随机森林、逻辑回归、神经网络(离散型)
•回归 线性回归、岭回归(连续型)
非监督学习:特征值
•聚类 k-means
SKLearn数据集
数据集分为训练集和测试集
训练集比测试集多一些(通常为75%:25%)
转换器和估计器
fit_transform():输入数据直接转换
fit():输入数据
transform():转换数据
估计器:用于实现算法的API