机器学习 - PCA

最新推荐文章于 2025-06-05 11:34:15 发布

KeeJee

最新推荐文章于 2025-06-05 11:34:15 发布

阅读量3.5k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：机器学习数据挖掘机器学习与数据挖掘文章标签：数据挖掘机器学习

本文链接：https://blog.youkuaiyun.com/zk_j1994/article/details/76796606

PCA（主成分分析）是一种常见的线性降维方法，通过对原始数据进行线性变换来减少特征维度。算法流程包括计算数据集的协方差矩阵，进行特征值分解，并选取最大特征值对应的特征向量作为投影矩阵。PCA在数据预处理中用于降低复杂度，通常涉及数据中心化。在实际应用中，如sklearn库，PCA可以通过fit和transform方法实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

PCA是一种线性降维算法，即对原数据data乘以一个矩阵W，做线性变换。比如：

data: m * n，即m个样本，n个特征； W: n * (n/2)。则data * W: m * (n/2)，便起到了降维的作用。

PCA的详细推导见：http://download.youkuaiyun.com/download/zk_j1994/9927042

1. 算法概述

1）记数据集为X，一行代表一个样本，一列代表一个特征；
2）计算X'X的特征值矩阵，特征向量矩阵；
3）取特征值矩阵中较大的特征值对应的特征向量构成的矩阵W，即为投影矩阵；
4）XW即为降维后的数据，注意此X为中心化后的X。

2. PCA的实现

2.1 加载数据，画图等工具函数

def load_data():
    with open("../PCA/data/Iris.txt", "r") as f:
        iris = []
        for line in f.readlines():
            temp = line.strip().split(",")
            if temp[4] == "Iris-setosa":
                temp[4] = 0
            elif temp[4] == "Iris-versicolor":
                temp[4] = 1
            elif temp[4] == "Iris-virginica":
                temp[4] = 2
            else:
                raise(Exception("data error."))
            iris.append(temp)
    iris = np.array(iris, np.float)
    return iris

def draw_result(new_trai