PCA降维方法的python实现

最新推荐文章于 2024-07-18 17:29:55 发布

原创最新推荐文章于 2024-07-18 17:29:55 发布 · 1.2k 阅读

3 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何使用主成分分析（PCA）算法对MNIST手写数字数据集进行降维，并通过三维散点图可视化不同数字类别。该过程包括计算协方差矩阵、特征值分解以及选取主要特征向量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考《机器学习实战》，使用MNIST数据集

首先给出PCA的算法

输入：样本集 $D=\{x_1,x_2,...,x_m\}$

低维空间维数 d‘

过程：

对所有样本进行中心化： $x_i\leftarrow x_i-\frac{1}{m}\sum_{i=1}^{m}x_i$
计算样本的协方差矩阵 $XX^T$
对协方差矩阵 $XX^T$ 做特征值分解
取最大的d'个特征值所对应的特征向量 $w_1,w_2,...,w_{d'}$

输出：投影矩阵 $W^*=(w_1,w_2,...,w_{d'})$

# -*- coding: utf-8 -*-
"""
Created on Sun Jul 22 15:38:03 2018

@author: Li Qingquan
"""

import chainer
import matplotlib
import matplotlib.pyplot as plt
import numpy as np
from mpl_toolkits.mplot3d import Axes3D

# with reference to "Machine Learning in Action"
def PCA(dataMat, topNfeat=9999999):
    meanVals = np.mean(dataMat, axis = 0)  # calculate mean
    meanRemoved = dataMat - meanVals  # minus mean
    covMat = np.cov(meanRemoved, rowvar=0)  # calculate the covariance matrix
    eigVals, eigVects = np.linalg.eig(np.mat(covMat))  # calculate eigenvalues
    # sort eigenvalues
    eigValInd = np.argsort(eigVals)
    eigValInd = eigValInd[: -(topNfeat + 1) : -1]
    redEigVects = eigVects[:, eigValInd]
    # dimensionality reduction
    lowDDataMat = meanRemoved * redEigVects
    reconMat = (lowDDataMat * redEigVects.T) + meanVals
    return lowDDataMat, reconMat

if __name__ == "__main__":
    train, test = chainer.datasets.get_mnist()
    img = []
    label = []
    for i in range(10000):  # get numbers 3, 6, 8
        if train[i][1] == 3 or train[i][1] == 6 or train[i][1] == 8:
            img.append(train[i][0])
            label.append(train[i][1])
    lowDDataMat, reconMat = PCA(np.array(img), 3)
    # draw
    fig = plt.figure()
    axes = fig.add_subplot(111, projection='3d')
    for i in range(len(label)):
        if label[i] == 3:
            axes.scatter(np.array(lowDDataMat[i, 0]), np.array(lowDDataMat[i, 1]), np.array(lowDDataMat[i, 2]), color='red')
        if label[i] == 6:
            axes.scatter(np.array(lowDDataMat[i, 0]), np.array(lowDDataMat[i, 1]), np.array(lowDDataMat[i, 2]), color='green')
        if label[i] == 8:
            axes.scatter(np.array(lowDDataMat[i, 0]), np.array(lowDDataMat[i, 1]), np.array(lowDDataMat[i, 2]), color='blue')
    plt.title("PCA")
    plt.show()