PCA 主成分分析算法

PCA 算法的目的是降纬，多维数据分析时无法进行表达，在数据分析中，常用的是两个变量，也就是二维坐标系进行数据分析。PCA 可以将多维数据进行主成分析，从而达到降维的目的，最终使用 PCA 中的 PC1 和 PC2 作为主要纬度进行分析。PCA 的计算过程包括以下步骤：

1. 数据标准化 $Z=\frac{X-\mu }{\sigma }$
2. 计算协方差矩阵 $C=\frac{1}{n-1}{Z}^{T}Z$
3. 计算矩阵 C 的特征值和特征矩阵，按特征值进行倒排序，取前n 个特征向量，一般两个就可以，等到矩阵 W
4. 计算 $Z_{\text{projected}}=Z\cdot W$

SKlearn 实现 PCA

# 准备数据
from sklearn import datasets
import matplotlib.pyplot as plt

# 导入sklearn数据集
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 导入sklearn降维模块
from sklearn import decomposition
# 创建pca模型实例，主成分个数为3个
pca = decomposition.PCA(n_components=3)
# 模型拟合
pca.fit(X)
# 拟合模型并将模型应用于数据X
X_trans = pca.transform(X)

# 颜色列表
colors = ['navy', 'turquoise', 'darkorange']
# 绘制不同类别
for c, i, target_name in zip(colors, [0,1,2], iris.target_names):
    plt.scatter(X_trans[y == i, 0], X_trans[y == i, 1], 
            color=c, lw=2, label=target_name)
# 添加图例
plt.legend()
plt.show();

总结

PCA 主成分分析，能对多维数据分析进行降维，从而可以将数据展示在二、三维坐标轴上。