27、矩阵运算、二次规划与核函数空间知识解析

矩阵运算、二次规划与核函数空间知识解析

1. 伪逆矩阵与协方差矩阵

1.1 伪逆矩阵

伪逆矩阵是矩阵理论中的重要概念。对于矩阵 (A)，其伪逆矩阵 (A^+) 定义如下：
(S^+ =
\begin{pmatrix}
\frac{1}{\sigma_1} & 0 & \cdots & 0 \
0 & \frac{1}{\sigma_r} & \cdots & 0 \
\vdots & \vdots & \ddots & \vdots \
0 & 0 & \cdots & 0
\end{pmatrix})
在计算伪逆矩阵时，我们将 (0) 的倒数替换为 (0)，而非无穷大，这样能确保得到最小范数解。通过奇异值分解，我们有以下关系：
- (A^+A = V S^+U^T U S V^T = V S^+ S V^T = V
\begin{pmatrix}
I_r & 0_{r,n - r} \
0_{n - r,r} & 0_{n - r}
\end{pmatrix}
V^T =
\begin{pmatrix}
I_r & 0_{r,n - r} \
0_{n - r,r} & 0_{n - r}
\end{pmatrix})
- (A A^+ = U S S^+ U^T =
\begin{pmatrix}
I_r & 0_{r,M - r} \
0_