14、主成分分析与判别聚类分析详解

主成分分析与判别聚类分析详解

1. 主成分分析（PCA）概述

在处理数据时，随着数据维度的增加，数据的可管理性和有效性往往会降低。这是因为随着变量或特征的添加，数据点之间的平均和最小距离会增加，使得创建准确的预测变得更加困难。而且，数据集中的某些特征可能对目标变量的预测价值不大，反而会增加数据集的噪声和模型的计算负担。

主成分分析（PCA）是一种有效的数据降维方法，它着眼于数据集中连续变量的整体结构，旨在从数据的噪声中提取有意义的信号，消除变量中的冗余信息，同时保留重要信息。

1.1 PCA的特性

• 非尺度不变性 ：如果长度尺度乘以一个公共因子，特征会发生变化，改变每一列的单位也会改变PCA的结果。
• 高方差参数影响大 ：方差较高的参数对主成分的影响更大。
• 中心化和标准化 ：对变量进行中心化和标准化是个好做法（R中的prcomp函数不会自动进行标准化）。
• 向量符号任意性 ：由于PCA基于正交向量，每个向量的符号是任意的，即在同一数据集上运行PCA可能会得到除符号翻转外完全相同的数字。

1.2 PCA的工作原理

PCA是一种变换方法，它创建数据集原始变量的（加权线性）组合，新组合旨在尽可能多地捕获数据集中的方差（即点之间的分离），同时消除相关性（即冗余）。具体步骤如下：
1. 中心化变量 ：将所有输入变量的值进行中心化处理，