5、主成分压缩与奇异值分解在数据分析中的应用

主成分压缩与奇异值分解在数据分析中的应用

1. 数据冗余的利弊

在数据分析中，观测矩阵常常存在冗余现象。冗余既可能带来负面影响，也可能具有一定的益处。

1.1 冗余的弊端

• 存储空间占用大 ：数据在磁盘或内存中占据过多空间，增加了存储成本。
• 操作时间长 ：所有操作所需时间增加，降低了数据处理效率。
• 统计计算困难 ：由于数据向量之间存在依赖关系，许多统计计算变得更加复杂。高相关性的解释变量会导致数值不稳定，甚至可能使矩阵求逆无法进行。

1.2 冗余的益处

• 数据修复 ：可以利用冗余信息“修复”数据中的小缺陷，通过相邻点的插值来替换缺失值。
• 数据质量验证 ：有助于确定数据分析结果的质量。
• 数据压缩 ：原始观测中的信息可以通过统计方法压缩成较少的因子，同时利用额外信息检查因子分解的质量。

2. 数据压缩方法概述

观测矩阵可以通过多种技术压缩成较小的数据集。这些技术大多基于特征值分析，且计算方法均为迭代式。在化学计量学中，主成分分析（PCA）是核心方法，其中NIPALS算法常用于只需要最大因子的情况。

2.1 奇异值分解（SVD）

奇异值分解是一种将观测矩阵分解为较小数据集的数值方法，