【数学】主成分分析（PCA）的详细深度推导过程

Based on Deep Learning (2017, MIT) book.

本文基于Deep Learning (2017, MIT)，推导过程补全了所涉及的知识及书中推导过程中跳跃和省略的部分。
blog

1 概述

现代数据集，如网络索引、高分辨率图像、气象学、实验测量等，通常包含高维特征，高纬度的数据可能不清晰、冗余，甚至具有误导性。数据可视化和解释变量之间的关系很困难，而使用这种高维数据训练的神经网络模型往往容易出现过拟合（维度诅咒）。
主成分分析（PCA）是一种简单而强大的无监督机器学习技术，用于数据降维。它旨在从大型变量集中提取一个较小的数据集，同时尽可能保留原始信息和特征（有损压缩）。PCA有助于识别数据集中最显著和有意义的特征，使数据易于可视化。应用场景包括：统计学、去噪和为机器学习算法预处理数据。

• 主成分是什么？
  主成分是构建为原始变量的线性组合的新变量。这些新变量是不相关的，并且包含原始数据中大部分的信息。

---

2 背景数学知识

这些知识对下一节的推导很重要。

• 正交向量和矩阵：
  • 如果两个向量垂直，则它们是正交的。即两个向量的点积为零。
  • 正交矩阵是一个方阵，其行和列是相互正交的单位向量；每两行和两列的点积为零，每一行和每一列的大小为1。
  • 如果AT=A−1或AAT=ATA=I，则A是正交矩阵。
  • 在机器人学中，旋转矩阵通常是一个3×3的正交矩阵，在空间变换中它会旋转向量的方向但保持原始向量的大小。
• 矩阵、向量乘法规则：
  • (AB)T=BTAT，两个矩阵的乘积的转置。
  • a→Tb→=b→Ta→，两个结果都是标量，标量的转置是相同的。
  • (A+B)C=AC+BC，乘法是可分配的。
  • AB≠BA，乘法一般不满足交换律。
  • A(BC)=(AB)C，乘法满足结合律。
• 对称矩阵