机器学习-特征降维

机器学习-特征降维

1 降维--降低维度
    1.1 维度:在numpy中ndarray中学习过二维数组,在list列表中学习过二维,三维列表
    1.2 维数:嵌套的层数
    1.3 特征降维
        降的不是嵌套的层数,降的是特征值的个数,就是列数
    1.4 降维定义
        降维是指在某些限定条件下,降低随机变量(特征值)的个数,得到一组不相关的主变量的过程
    1.5 效果
        特征与特征之间不相关
        相关:比如说相对湿度和降雨量具有相关关系,如果说一组数据中的相关变量太多的话会造成数据的冗余
        正是因为在训练的时候,我们都是使用特征进行学习,如果特征本身存在问题或者特征之间的相关性较强,对于算法学习预测会影响较大
2 降维的方式
   2.1 特征选择
   2.2 主成分分析

   2.1 特征选择
   2.1.1 定义
    数据中包含冗余或者相关变量(或特征值,属性,指标等等),旨在从原有特征中找出主要特征
   2.1.2 举例说明
    例如:想要识别一直鸟属于哪个类别
    分析依据:羽毛颜色\眼睛宽度\眼睛长度\爪子长度\体格大小等等
   2.1.3 如何用数学的方法找出相关的变量或者特征
    (1) filter(过滤式):主要探究特征本身的特点,特征与特征和目标值之间的关联
        方差选择法:低方差过滤特征
        相关系数:相关系数就是衡量特征与特征呢个之间的相关程度
    (2) embedded(嵌入式)
        决策树
        正则化
        深度学习
    2.1.4 过滤式
        (1) 低方差特征过滤:删除低方差的一些特征
        * 特征方差小:某个特征大多样本的值比较相近(没有意义去掉)
        * 特征方差大:某个特征很多样本的值有差别(保留下来)
        (2) API
            sklearn.feature_selection.VarianceThreshold(threshold=0.0)
            返回值:训练集差异低于threshold的特征将被删除,默认值是保留所有非0方差特征,即删除样本中具有相同值的特征
    2.1.5 相关系数
        除了过滤掉不相关的特征,还要得到一组"不相关"主变量的过程
        (1) 相关系数怎么求?
        皮尔逊相关系数(pearson Correction Coefficent)
        映射变量间相关关系的密切程度的指标
        (2) 计算公式
        (3) 相关系数的特点
            相关系数介于-1~+1之间,其性质如下:
            当r >0时:表示正相关,当r<0时表示负相关
            当r=0时,表示无相关关系,当|r|=1时,表示完全相关
            当|r|越接近于1,表示两变量相关关系越密切
            当|r|越接近于0,表示两变量相关关系越弱
            一般可以分为三个等级:
            |r| <0.4:为低相关
            0.4 <= |r| <= 0.7:表示显著相关
            0.7 < |r| < 1:为高度相关
        (4) API
            from scipy.stats import pearsnr
    2.1.6 特征值与特征值之间的相关性很高怎么办?
        (1) 选取其中一个作为分析的特征值
        (2) 加权求和(每个特征值都占用一定的比例)
        (3) 主成分分析
    2.1.7 主成分分析
        (1) 定义:高维数据化为低维数据的过程,在此过程中会舍弃原有数据,创造一个新的变量
        (2) 作用:作用是压缩数据,尽可能降低原有数据维数(复杂度),损失少量信息
        (3) 应用:回归分析或者聚类分析当中
        (4) 举例说明
        (5) API
        sklearn.decomsition.PCA(n_componets=None)
            n_componets在传参数时,不同格式的信息代表的意义不同
            小数:表示保留百分多少的信息
            整数:表示减少到多少特征值

数据集的下载地址为:
特征降维的数据集:factor_returns.csv

import pandas as pd
from sklearn.feature_selection import VarianceThreshold
from scipy.stats import pearsonr
from sklearn.decomposition import PCA

def cariance_demo():
    """
    过滤低方差特征
    :return: None
    """
    # 获取数据
    data = pd.read_csv('./datas/factor_returns.csv')
    # print('data\n',data,data.shape)
    data = data.iloc[:,1:-2]
    # print('data\n',data)
    # 实例化一个转换器类
    transfer = VarianceThreshold(threshold=10)
    # 调用fit_transform
    data_new = transfer.fit_transform(data)
    # print('data_new\n',data_new,data_new.shape)
    # 计算两个变量之间的相关洗漱
    r = pearsonr(data['pe_ratio'],data['pb_ratio'])
    print('相关系数\n',r)
    return None

def pca_demo():
    """
    PCA降维
    :return: None
    """
    data = [[2, 8, 4, 5], [6, 3, 0, 8], [5, 4, 9, 1]]
    # 实例化一个转换器类
    transfer = PCA(n_components=2)
    # 调用fit_transform
    data_new = transfer.fit_transform(data)
    print('data_new\n', data_new)

    return None


if __name__ == "__main__":
    pca_demo()