机器学习-PCA

原创已于 2024-05-30 09:08:22 修改 · 654 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #人工智能

于 2023-02-10 17:48:16 首次发布

机器学习专栏收录该内容

13 篇文章

订阅专栏

PCA（主成分分析）是通过特征值分解协方差矩阵来降低数据维度的方法，主要用于数据降维、可视化和特征提取。它能有效简化数据、减少噪声，但可能导致信息损失且不适用于非线性数据。

前言

PCA（Principal Component Analysis）是一种常用的数据降维方法，它的主要思想是将高维数据降维到一个低维空间，同时保留尽可能多的原始数据的信息。

定义

PCA (Principal Component Analysis) 是一种常用的数据降维算法，用于对高维数据进行降维和特征提取。它的主要思想是通过对数据的协方差矩阵进行特征值分解，选择前 k 个特征值最大的特征向量作为新的主成分，将原始数据投影到主成分空间，从而实现数据降维。

PCA 常用于数据降维、数据可视化、数据压缩等场景，其特点是可以有效的降低数据维度，保留数据的主要特征。

PCA步骤

中心化：将数据的每一个特征列减去该列的平均值，使得每一个特征的均值为 0。
协方差：计算样本的协方差矩阵，该矩阵表示各个特征之间的关系。
特征分析：对协方差矩阵进行特征分析，得到特征值和特征向量。特征向量表示了新的坐标轴的方向，特征值表示了新坐标轴的方差。
降维：选择特征值较大的特征向量，构造新的坐标系，将原始数据投影到新的坐标系上，从而达到降维的目的。

这些步骤通过计算的过程可以得到一个主成分的矩阵，该矩阵的列表示了新的坐标轴，行表示了每一个样本在新坐标系上的坐标。

PCA 算法的一个重要优点是可以有效的降低数据的维度，降低数据的维数对于降低算法的复杂度和避免过拟合都有很重

PCA 优点

简化数据：PCA 可以有效的降低数据的维度，简化数据，便于后续数据分析。
减少噪声：PCA 可以把噪声数据降低到最小，提高数据的质量。
可视化：PCA 可以将高维数据映射到二维或三维空间，便于人眼观察和可视化。
去冗余：PCA 可以消除数据中的冗余信息，只保留主要信息。

PCA 缺点

信息损失：PCA 为了降低数据的维度，可能会导致一定的信息损失。
难以解释：PCA 降维后的数据维度和特征很难被人类直接理解和解释。
不适用于非线性数据：PCA 适用于线性数据，对于非线性数据，PCA 可能不能得到理想的结果。

所以在使用PCA时，要根据你的实际情况权衡利弊，结合其他算法一起使用

代码

import numpy as np

# 使用这段代码可以实现将原始数据降维至指定的维数，并返回降维后的数据

def PCA(X, k=None):
    """
    X: m x n 的数据矩阵，m 表示样本数量，n 表示每个样本的特征数
    k: 需要保留的主成分数量，如果不指定，则保留所有的主成分
    """
    # 对样本进行中心化
    X_mean = np.mean(X, axis=0)
    X = X - X_mean

    # 计算协方差矩阵
    cov_matrix = np.cov(X.T)

    # 计算协方差矩阵的特征值和特征向量
    eigenvalues, eigenvectors = np.linalg.eig(cov_matrix)

    # 对特征值进行排序，从大到小
    eigenvalues_sorted_index = np.argsort(eigenvalues)[::-1]
    eigenvalues = eigenvalues[eigenvalues_sorted_index]
    eigenvectors = eigenvectors[:, eigenvalues_sorted_index]

    # 根据 k 的值选择保留的主成分数量
    if k is not None:
        eigenvalues = eigenvalues[:k]
        eigenvectors = eigenvectors[:, :k]

    # 计算降维后的数据
    transformed_X = np.dot(X, eigenvectors)

    return transformed_X