26、矩阵基础分解与伪逆及凸几何相关知识

矩阵基础分解与伪逆及凸几何相关知识

1. 矩阵基础分解

1.1 奇异值分解

奇异值分解（SVD）是矩阵的一种基础分解方式，在众多领域都有应用，比如计算矩阵的逆、求解最小二乘问题以及对矩阵秩进行自然编码等。其核心动机是用最简单的方式理解给定的 $M×N$ 矩阵 $A$ 通过乘法 $Aw$ 对 $N$ 维向量 $w$ 的作用，也就是用最简洁的形式表示 $Aw$。为了便于阐述，我们先假设矩阵 $A$ 的行数不少于列数，即 $N ≤ M$，不过后续内容很容易推广到 $N > M$ 的情况。

通过乘积 $Aw = y$，矩阵 $A$ 将向量 $w \in R^N$ 映射到 $y \in R^M$。利用两组分别张成 $R^N$ 和 $R^M$ 的线性无关向量 $V = {v_1, v_2, \cdots, v_N}$ 和 $U = {u_1, u_2, \cdots, u_M}$，我们可以将任意向量 $w$ 在 $V$ 上进行分解：
$w = \sum_{n=1}^{N} \alpha_n v_n$ （C.1）
其中，$\alpha_n$ 是系数，$n = 1, \cdots, N$。此外，由于对于每个 $n$，乘积 $Av_n$ 是 $R^M$ 中的某个向量，所以每个 $Av_n$ 也可以在 $U$ 上进行分解：
$Av_n = \sum_{m=1}^{M} \beta_{n,m} u_m$ （C.2）
其中，$\beta_{n,m}$ 是系数，$m = 1, \cdots, M$。基于这两个事实，我们可以将矩阵 $A$ 对任意向量 $w$ 的作用，用 $A$ 对各个 $v_n$ 的作用来表示：
$Aw = A(\sum_{n=1