python和机器学习第七章 PCA和梯度上升法（四）高维数据映射为低维数据

最新推荐文章于 2025-03-22 16:50:23 发布

把小兔打哭

最新推荐文章于 2025-03-22 16:50:23 发布

阅读量469

点赞数

CC 4.0 BY-SA版权

分类专栏： python与机器学习文章标签：机器学习 PCA

本文链接：https://blog.youkuaiyun.com/Dear_leslie/article/details/96106041

python与机器学习专栏收录该内容

26 篇文章

订阅专栏

本文介绍如何使用PCA（主成分分析）进行数据降维，并通过实战案例展示了不同维度下数据降维的效果对比。从选择合适的维数到利用PCA提高模型训练效率，文章详细解析了PCA在实际应用中的操作步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

高维数据映射为低维数据

在这里插入图片描述

降维函数

def transform(self, X):
       """将给定的X，映射到各个主成分分量中"""
       assert X.shape[1] == self.components_.shape[1]
       return X.dot(self.components_.T)

将降维后的数据恢复成高维

def inverse_transform(self, X):
        """将给定的X，反向映射回原来的特征空间"""
        assert X.shape[1] == self.components_.shape[0]
        return X.dot(self.components_)

scikit-learn中的PCA

引入数据集

In [6]: import numpy as np
   ...: import matplotlib.pyplot as plt
   ...: from sklearn import datasets

In [7]: digits = datasets.load_digits()
   ...: X = digits.data
   ...: y = digits.target

划分训练数据集、测试数据集

In [14]: from sklearn.model_selection import train_test_split
    ...: X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=666)
In [15]: X_train.shape
Out[15]: (1347, 64)

对原始样本进行训练，得到相应的识别率

In [16]: %%time
    ...: from sklearn.neighbors import KNeighborsClassifier
    ...: knn_clf = KNeighborsClassifier()
    ...: knn_clf.fit(X_train,y_train)
    ...: 
Wall time: 137 ms
In [17]: knn_clf.score(X_test,y_test)
Out[17]: 0.9866666666666667

使用PCA进行降维后再训练数据集
降到2维。时间减少，但精度也下降了

[18]: from sklearn.decomposition import PCA
    ...: pca = PCA(n_components=2)
    ...: pca.fit(X_train)
    ...: X_train_reduction = pca.transform(X_train)
    #不能使用测试数据集再重新训练一个PCA
    #应使用用训练数据集X_train训练过的PCA
    ...: X_test_reduction = pca.transform(X_test)
    
#降到2维。时间减少，但精度也下降了    
In [19]: %%time
    ...: knn_clf = KNeighborsClassifier()
    ...: knn_clf.fit(X_train_reduction,y_train)   
Wall time: 964 µs
In [20]: knn_clf.score(X_test_reduction,y_test)
Out[20]: 0.6066666666666667

如何选取最合适的维数

pca.explained_variance_ratio_
每个主成分可以解释的方差是多少

In [23]: pca = PCA(n_components=X_train.shape[1])
    ...: pca.fit(X_train)
    ...: pca.explained_variance_ratio_
#第二个参数是前i个特征可解释的方差的和
In [24]: plt.plot([i for i in range(X_train.shape[1])],[np.sum(pca.explained_variance_ratio_[:i+1]) for i in range(X_train.shape[1])])

在这里插入图片描述

通过确定的训练精度得到维数

In [25]: pca = PCA(0.95)
    ...: pca.fit(X_train)
In [26]: pca.n_components_
Out[26]: 28

In [27]: X_train_reduction = pca.transform(X_train)
    ...: X_test_reduction = pca.transform(X_test)

In [28]: %%time
    ...: knn_clf = KNeighborsClassifier()
    ...: knn_clf.fit(X_train_reduction,y_train)
Wall time: 2.05 ms

In [29]: knn_clf.score(X_test_reduction,y_test)
Out[29]: 0.98