线性代数：奇异值

特征值，特征向量，相似性，对角化，对称矩阵，正交对角化等系列概念均基于方阵提出。

而现实中通常要处理的矩阵都属于长方阵形式。
对于一个$m\times n$的非方阵$A$来说，可以通过$A^{T}A$方式构造一个对称的$n\times n$的方阵；

对于$A^{T}A$来说

• 其第$i$行$j$列的元素$a_{ij}$ 是 $A^T$的第$i$行点乘$A$的第$j$列的结果$\leftrightarrow$ 也即$A$的$i$列$\cdot j$列
• 其第$j$行$i$列的元素$a_{ji}$ 是 $A^T$的第$j$行点乘$A$的第$i$列的结果$\leftrightarrow$ 也即$A$的$j$列$\cdot i$列
• $\therefore a_{ij}=a_{ji}$
  

因此，若$A$是一个$m\times n$的矩阵，则$A^{T}A$将得到一个对称的$n\times n$方阵，
从而$A^{T}A$可以被正交对角化，拥有$n$个实数特征值，$n$个互相垂直的标准特征向量(模等于1)
${\lambda }_1,{\lambda }_2,{\lambda }_3,...{\vec{v}}_1,{\vec{v}}_2,{\vec{v}}_3,...$

取出方阵$A^{T}A$的某一特征值${\lambda }_i$与其对应的一个标准特征向量${\vec{v}}_i$,存在如下联系:
$\Vert A\cdot {\vec{v}}_i{\Vert }^2=(A{\vec{v}}_i)\cdot (A{\vec{v}}_i)=(A{\vec{v}}_i{)}^T(A{\vec{v}}_i)={\vec{v}}_i^T{A}^{T}A{\vec{v}}_i$
$\because {\vec{v}}_i$是方阵$A^{T}A$的一个标准特征向量
$\therefore {\vec{v}}_i^T{A}^{T}A{\vec{v}}_i={\vec{v}}_i^T{\lambda }_i{\vec{v}}_i={\lambda }_i{\vec{v}}_i^T{\vec{v}}_i={\lambda }_i\Vert {\vec{v}}_i{\Vert }^2={\lambda }_i$

$\therefore \Vert A\cdot {\vec{v}}_i{\Vert }^2={\lambda }_i$，同时表明方阵$A^{T}A$的特征值${\lambda }_i\ge 0$

推出奇异值(Singular Value) $\therefore {\sigma }_i=\sqrt{\Vert A\cdot {\vec{v}}_i{\Vert }^2}=\sqrt{{\lambda }_i}$，奇异值表示了$A{\vec{v}}_i$的长度。

根据矩阵的行空间与列空间一章,对于一个$m\times n$的矩阵$A$，其列空间将由矩阵内线性无关的列向量组生成($dim(Colspace)\le m$)。在这里，向量组 { A v ⃗ i } \{A\vec v_i\} {Av i​}构成矩阵$A$列空间的一组正交基(${\lambda }_i\ne 0$)

① 正交性证明
取出 { A v ⃗ i } \{A\vec v_i\} {Av i​}中的两个基向量 $A{\vec{v}}_i,A{\vec{v}}_j$
$(A{\vec{v}}_i)(A{\vec{v}}_j)=(A{\vec{v}}_i{)}^T(A{\vec{v}}_j)={\vec{v}}_i^T{A}^{T}A{\vec{v}}_j={\vec{v}}_i^T({\lambda }_j{\vec{v}}_j)={\lambda }_j{\vec{v}}_i^T{\vec{v}}_j={\lambda }_j({\vec{v}}_i{\vec{v}}_j)=0$

② 证明 { A v ⃗ i } \{A\vec v_i\} {Av i​}是$A$的一组正交基
方阵$A^{T}A$的$n$个标准特征向量组 { v ⃗ 1 , v ⃗ 2 , . . . , v ⃗ n } \{\vec v_1,\vec v_2,...,\vec v_n\} {v 1​,v 2​,...,v n​}构成$n$维空间的一组基， 则该空间内任意向量$\vec{x}=k_1{\vec{v}}_1+k_2{\vec{v}}_2+...+k_n{\vec{v}}_n$
对于$A$ 的列空间(维度$\le m$)中的向量$\vec{y}$(含有$m$个元素)，可以在一个$n$维空间中寻找一个$\vec{x}$，从而表示为$\vec{y}=A\cdot \vec{x}$的结果($m\times n\cdot n\times 1=m$)。
$\therefore \vec{y}=A\cdot \vec{x}=A\cdot k_1{\vec{v}}_1+A\cdot k_2{\vec{v}}_2+...+A\cdot k_n{\vec{v}}_n=k_{1}A{\vec{v}}_1+k_{2}A{\vec{v}}_2+...+k_{n}A{\vec{v}}_n$

而$k_{1}A{\vec{v}}_1+k_{2}A{\vec{v}}_2+...+k_{n}A{\vec{v}}_n$就是 { A v ⃗ i } \{A\vec v_i\} {Av i​}向量组的线性组合，由于${\lambda }_i=0\to \sqrt{\Vert A\cdot {\vec{v}}_i{\Vert }^2}\to A{\vec{v}}_i=O$，从而使 { A v ⃗ i } \{A\vec v_i\} {Av i​}向量组内存在线性相关组，所以刨去了${\lambda }_i=0$这个因素之后，得到的 { A v ⃗ i } \{A\vec v_i\} {Av i​}向量组内的所有向量将构成正交关系[①中已证明]，形成矩阵$A$的列空间的一组正交基。
在处理奇异值的时候，通常按从大到小的顺序排列${\sigma }_i$，从而去掉等于$0$ 的奇异值。

如果$A$ 由$r$个不为零的奇异值，则 { A v ⃗ 1 , A v ⃗ 2 , . . . , A v ⃗ r } \{A\vec v_1,A\vec v_2,...,A\vec v_r\} {Av 1​,Av 2​,...,Av r​}是$A$的列空间的一组正交基
$A$的列空间的维度为$r$；$rank(A)=r$
$A$的列空间的一组标准正交基将描述为 { A v ⃗ 1 σ 1   A v ⃗ 2 σ 2   . . . , A v ⃗ r σ r } \{ \frac {A\vec v_1}{\sigma _1}\, \frac {A\vec v_2}{\sigma _2}\,..., \frac {A\vec v_r}{\sigma _r}\} {σ1​Av 1​​σ2​Av 2​​...,σr​Av r​​} ;
进一步简化表述 u ⃗ i = A v ⃗ i σ i     { u ⃗ 1 , u ⃗ 2 , . . . , u ⃗ r } \vec u_i = \frac {A\vec v_i}{\sigma _i}\ \ \ \{\vec u_1,\vec u_2,...,\vec u_r \} u i​=σi​Av i​​   {u 1​,u 2​,...,u r​}在这里可以看到$\sigma =0$ 等式将无意义。
使用向量组 { u ⃗ 1 , u ⃗ 2 , . . . , u ⃗ r } \{\vec u_1,\vec u_2,...,\vec u_r \} {u 1​,u 2​,...,u r​}能更方便的表示一个矩阵。