特征工程介绍-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_46073493/article/details/133026026

算法特征工程

2.2.1 为什么需要特征工程

2.2.2 什么是特征工程

sklearn 特征工程

pandas 数据清洗、数据处理

特征抽取 / 特征提取

机器学习算法 -统计方法 - 数学公式

文本类型 ->数值

类型 - 》数值（One-Hot 编码）

特征提取

（将任意数据（如文本或图像）转换成可用于机器学习的数字特征）

**特征值化是为了计算机更好的去理解数据

字典特征提取（特征离散化）

文本特征提取

图像特征提取（深度学习）

sklearn中特征提取api sklearn.feature_extraction

字典特征提取

作用：对字典数据进行特征值化

sklearn.feature_extraction.DictVectorzer(sparse=True....)

vector 数学：向量，物理：矢量

矩阵 matrix 二维数组

向量 vector 一维数组

父类：转换器类 (from sklearn.feature_extraction import DictVectorizer)

返回sparse 矩阵

sparse稀疏

将非零值按位置表示出来

节省内存 - 提高加载效率

                        #1实例化一个转化器类
                        transfer = DictVectorizer(sparse=False)
                        #2调用fit_transform()
                        data_new = transfer.fit_transform(data)
                        #显示特征名
                        print("特征名", transfer.feature_names_)
                        print(data_new)

应用场景：

1）pclass，sex 数据集中类别特征比较多

1、将数据集的特征-》字典类型

2、DicVectorizer转换

2)本身拿到的数据就是字典类型

文本特征提取

把单词作为特征

句子、短语、单词、字母

特征：单词（特征词）

方法1：CountVectorizer

统计每个特征值出现的个数（同一句子中）

参数stop_words 停用词

def count_demo():
    '''
    文本特征抽取
    :return:
    '''
    data = ['life is short , i like like python','life is too long,i dislike python']
    #1 实例化一个转换器
    tranfer = CountVectorizer()
    #2调用fit_tranform
    data_new = tranfer.fit_transform(data)
    print("特证名",tranfer.get_feature_names_out())
    print(data_new.toarray())
    return None

关键词：在文章中，出现的次数很多，但是在其他类别的文章中出现很少

方法二：Tf-idf文本特征提取（可以找到那些词更为重要，更能找到关键词）

TF-IDF的主要思想是：如果某个词或者短语在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为该词或者短语具有很好的类别区分能力，适合用来分类。

TF-IDF的作用：用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

TF-IDF的公式：

词频（TF）指的是某一个给定的词语在该文件中出现的频率

逆向文档频率（IDF）是一个词语普遍重要性的度量。某一特定词语的idf，可以由总文件数目除以包含该词语的文件的数目，再将得到的商取以10为底的对数得到

最后 tfidf = tf × idf

最终可以理解为重要程度

TF-IDF的重要性：

分类机器学习算法进行文章分类中前期数据处理方式

在数据集划分后，训练集用fit_transform 测试集用transform是因为

训练集和测试集的每个样本都是从同一分布中抽样得到的，所以在训练集中fit之后在测试集就不能再fit了，要不然二者可能不是同一分布模型，预测效果会很糟糕。

处理中文文本

需要先分词

CountVectorizer 与 DicVectorizer 的对比

1. DictVectorizer(sparse=False) DicVectorizer在转换成矩阵时，是可以直接加参数sparse =False ，不让其返回稀疏矩阵。而，CounterVectorizer()不可以使用该参数，只能在调用fit_ transform后，用返回值调用toarray()

特征处理

什么是特征处理？就是统一量级

为什么我们要归一化/标准化？特征是按照相同等级来进行计算的，但由于每个特征的数值范围不同导致偏小的特征不起作用。

无量纲化

归一化

归一化公式：

def minmax_demo():
    '''
    归一化
    :return:
    '''
    #1 获取数据
    data = pd.read_csv("./data/dating.txt")
    print(data)
    data = data.iloc[:,:3]
    print(data)
    #2 实例化一个转换器类
    tranfer = MinMaxScaler()

    #3  调用fit_transform
    data_new = tranfer.fit_transform(data)
    print("data_new\n",data_new)
    return None

在归一化时会出现异常值：一般在最大值、最小值