12、矩阵二次型、范数与主成分分析详解

矩阵二次型、范数与主成分分析详解

1. 二次型及其最小化

给定一个对称方阵 $A$，标量 $Q = \vec{x}^T A\vec{x}$ 被称为二次型，它在机器学习的各种场景中都有出现。

• 圆和椭圆方程的二次型表示
  • 圆方程 ：高中所学圆的方程 $(x_0 - \alpha_0)^2 + (x_1 - \alpha_1)^2 = r^2$，若将位置向量 $\begin{bmatrix}x_0 \ x_1\end{bmatrix}$ 记为 $\vec{x}$，圆心 $\begin{bmatrix}\alpha_0 \ \alpha_1\end{bmatrix}$ 记为 $\vec{\alpha}$，则方程可紧凑表示为 $(\vec{x} - \vec{\alpha})^T I (\vec{x} - \vec{\alpha}) = r^2$，这实际上表示一个超球体，等式左边是一个二次型。
  • 椭圆方程 ：椭圆方程 $\frac{(x_0 - \alpha_0)^2}{\beta_0^2} + \frac{(x_1 - \alpha_1)^2}{\beta_1^2} = 1$ 可写成矩阵形式 $(\vec{x} - \vec{\alpha})^T A (\vec{x} - \vec{\alpha}) = 1$，其中 $A = \begin{bmatrix}\frac{1}{\beta_0^2} & 0 \ 0 & \frac{1}{\beta_1^2}\end{bmatrix}$，表示一个超椭圆。若旋转坐标系，