机器学习学习笔记2020/08/11——机器学习概述、特征工程、算法分类

什么是机器学习

机器学习是从数据中自动分析获得规律（模型），并利用规律对未知数据进行预测

数据类型

特征工程是什么

特征工程是将原始数据转换为更好地代表预测模型的潜在问题的特征的过程，从而提高了对未知数据的模型准确性

特征工程的意义

直接影响模型的预测结果

数据的特征抽取

特征值化是为了计算机更好的去理解数据

1、特征抽取实例演示

特征值化是为了计算机更好的去理解数据

2、sklearn特征抽取API

类：sklearn.feature_extraction

3、字典特征抽取

作用：对字典数据进行特征值化

类：sklearn.feature_extraction.DictVectorizer

from sklearn.feature_extraction import DictVectorizer
def dictvec():
    """
    字典数据抽取
    :return: None
    """
    # 实例化
    dict = DictVectorizer(sparse=False)  #转化为矩阵

    # 调用fit_transform
    data = dict.fit_transform([{'city': '北京','temperature': 100}, {'city': '上海','temperature':60}, {'city': '深圳','temperature': 30}])

    print(dict.get_feature_names())

    print(dict.inverse_transform(data))

    print(data)

    return None

if __name__ == "__main__":
    dictvec()

4、文本特征抽取

作用：对文本数据进行特征值化
类：sklearn.feature_extraction.text.CountVectorizer

from sklearn.feature_extraction.text import CountVectorizer
def countvec():
    """
    对文本进行特征值化
    :return: None
    """
    cv = CountVectorizer()

    data = cv.fit_transform(["人生 苦短，我 喜欢 python", "人生漫长，不用 python"])

    print(cv.get_feature_names())

    print(data.toarray())

    return None
if __name__ == "__main__":
    countvec()

from sklearn.feature_extraction.text import CountVectorizer
import jieba
def cutword():

    con1 = jieba.cut("今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。")

    con2 = jieba.cut("我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。")

    con3 = jieba.cut("如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。")

    # 转换成列表
    content1 = list(con1)
    content2 = list(con2)
    content3 = list(con3)

    # 吧列表转换成字符串
    c1 = ' '.join(content1)
    c2 = ' '.join(content2)
    c3 = ' '.join(content3)

    return c1, c2, c3


def hanzivec():
    """
    中文特征值化
    :return: None
    """
    c1, c2, c3 = cutword()

    print(c1, c2, c3)

    cv = CountVectorizer()

    data = cv.fit_transform([c1, c2, c3])

    print(cv.get_feature_names())

    print(data.toarray())

    return None
 if __name__ == "__main__":
    hanzivec()

from sklearn.feature_extraction.text import TfidfVectorizer
import jieba
def cutword():

    con1 = jieba.cut("今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。")

    con2 = jieba.cut("我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。")

    con3 = jieba.cut("如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。")

    # 转换成列表
    content1 = list(con1)
    content2 = list(con2)
    content3 = list(con3)

    # 吧列表转换成字符串
    c1 = ' '.join(content1)
    c2 = ' '.join(content2)
    c3 = ' '.join(content3)

    return c1, c2, c3

def tfidfvec():
    """
    中文特征值化
    :return: None
    """
    c1, c2, c3 = cutword()

    print(c1, c2, c3)

    tf = TfidfVectorizer()

    data = tf.fit_transform([c1, c2, c3])

    print(tf.get_feature_names())

    print(data.toarray())

    return None
    if __name__ == "__main__":
    tfidfvec()

为什么需要TfidfVectorizer？：分类机器学习算法的的重要依据

数据的特征处理

特征处理是什么

通过特定的统计方法（数学方法）将数据转换成算法要求的数据

sklearn特征处理API

sklearn. preprocessing 

归一化

sklearn归一化API

sklearn归一化API: sklearn.preprocessing.MinMaxScaler

from sklearn.preprocessing import MinMaxScaler
def mm():
    """
    归一化处理
    :return: NOne
    """
    mm = MinMaxScaler(feature_range=(2, 3))

    data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]])

    print(data)

    return None
if __name__ == "__main__":
    mm()

三个特征同等重要的情况下进行归一化，目的是使得某一个特征对最终结果不会造成更大的影响
问题：如果数据中异常点较多，会有什么影响？

归一化总结

注意在特定场景下最大值最小值是变化的，另外，最大值与最小值非常容易受异常点影响，所以这种方法鲁棒性较差，只适合传统精确小数据场景。

标准化

sklearn标准化API

sklearn标准化API: scikit-learn.preprocessing.StandardScaler

标准化总结

在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景。

from sklearn.preprocessing import  StandardScaler
def stand():
    """
    标准化缩放
    :return:
    """
    std = StandardScaler()

    data = std.fit_transform([[ 1., -1., 3.],[ 2., 4., 2.],[ 4., 6., -1.]])

    print(data)

    return None
if __name__ == "__main__":
    stand()

如何处理数据中的缺失值？

一般建议按列（特征）进行填补

sklearn缺失值API

sklearn缺失值API: sklearn.preprocessing.Imputer

from sklearn.preprocessing import Imputer
import numpy as np
def im():
    """
    缺失值处理
    :return:NOne
    """
    # NaN, nan
    im = Imputer(missing_values='NaN', strategy='mean', axis=0)

    data = im.fit_transform([[1, 2], [np.nan, 3], [7, 6]])

    print(data)

    return None
if __name__ == "__main__":
    im()

特征选择

特征选择原因

冗余：部分特征的相关度高，容易消耗计算性能

噪声：部分特征对预测结果有负影响

特征选择是什么

sklearn特征选择API

sklearn特征选择API:sklearn.feature_selection.VarianceThreshold

from sklearn.feature_selection import VarianceThreshold
def var():
    """
    特征选择-删除低方差的特征
    :return: None
    """
    var = VarianceThreshold(threshold=1.0)

    data = var.fit_transform([[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]])

    print(data)
    return None
if __name__ == "__main__":
    var()

sklearn主成分分析(PCA)API

sklearn主成分分析API:sklearn. decomposition

高维度数据容易出现的问题:特征之间通常是线性相关的

一般 n_components用小数。

from sklearn.decomposition import PCA
def pca():
    """
    主成分分析进行特征降维
    :return: None
    """
    pca = PCA(n_components=0.9)

    data = pca.fit_transform([[2,8,4,5],[6,3,0,8],[5,4,9,1]])

    print(data)

    return None


if __name__ == "__main__":
    pca()

用户对物品类别的喜好细分降维