线性代数基本公式结论简要总结(5)

本文总结对称矩阵、二次型和奇异值分解等内容。

由于对称矩阵具有许多良好的性质，工程上被广泛应用。二次型和奇异值分解也是由对称矩阵具有的特殊性质推广得到的

首先不要忘了之前讲特征值时提到的对角化公式：
$A=PDP^{-1}$
A具有n个线性无关的特征值，P的列空间由A的特征向量构成，D是对角线元素为A的特征值的对角矩阵

若A为对称矩阵，则其不同特征空间中（一个特征值对应的所有特征向量构成的子空间）的任意两个向量正交，即P为正交矩阵

一个方阵A可正交对角化的充要条件：A是对称矩阵

对称矩阵的谱定理：
矩阵A的特征值的集合称为A的谱。若A为n*n对称矩阵，有：
1.A有n个实数特征值（包括重复的特征值）
2.对每一个特征值，对应的特征子空间的维数等于$\lambda$作为特征方程的根的重数
3.特征空间相互正交
4.A可正交对角化

因此对于对称矩阵，有一下有趣形式的谱分解：
$A=PDP^T=[\lambda_1u_1...\lambda_nu_n][u_1^T...u_n^T]^T$
$A=\lambda_1u_1u_1^T+...+\lambda_nu_nu_n^T$
即A可分解为由A的特征值作为权重的各个小部分，显然，对于$\lambda$值较小的部分，可以适当忽略，只留下一些较大特征值的加权和，而不影响原矩阵整体的特征表达

二次型：
$R^n$上的一个二次型是一个定义在$R^n$上的函数，它在向量x处的值可以由表达式$Q(x)=x^TAx$计算，此处A是一个n阶对称矩阵，且矩阵A成为关于二次型的矩阵

可以看到，如果矩阵A是对角矩阵，则多项式Q(x)没有交叉项，否则有交叉项。这时我们想要通过适当的变量代换消去所有的交叉项

二次型的变量代换：
如果x表示$R^n$中的向量变量，则变量代换是如下形式的等式：
$x=Py$ 或 $y=P^{-1}x$
其中P是可逆矩阵且y是$R^n$中的一个新变量，P的列可以确定$R^n$的一个基，y是相对于该基向量x的坐标向量。将上述等式带入原式，有：
$x^TAx=y^T(P^TAP)y$
从而新的二次型矩阵为$P^TAP$，由于A是对称矩阵，因此存在正交矩阵P，使得$P^TAP$为对角矩阵D（对角元素为A的特征值）：
$x^TAx=y^TDy$
这样一来，就消除了原来多项式中的交叉项

上述去除交叉项的变换中，矩阵P的列称为二次型$x^TAx$的主轴，向量y是向量x在由这些主轴构造的$R^n$空间的单位正交基下的坐标向量

主轴的几何意义：
不失一般性，考虑矩阵A为2阶对称方阵，c为常数，则所有对应下式的x的集合，对应一个椭圆或圆、双曲线、两条相交直线或单个点、或为空集：
$x^TAx=c$
$x^TAx=y^TDy$ 的变换相当于是对曲线做了旋转，即旋转了原始的水平和竖直坐标轴

二次型的分类：
def:一个二次型Q是：
1.正定的：对所有非零x，有Q(x)>0
2.负定的：对所有非零x，有Q(x)<0
3.不定的：Q(x)正负值均存在

A为n阶矩阵，则二次型对应特征值有：
1.正定：当且仅当A的所有特征值均为正数
2.负定：当且仅当A的所有特征值均为负数
3.不定：当且仅当A既有正特征值，又有负特征值

相应的矩阵分为：正定矩阵、负定矩阵、不定矩阵

奇异值分解：
考虑到并不是所有矩阵都能对角化分解为：$A=PDP^{-1}$，但是，所有矩阵都可以分解为如下形式，也就是奇异值分解：
$A=QDP^{-1}$
其中D是”对角矩阵“。它是线性代数中最有用的矩阵分解

一个mn矩阵的奇异值：
设A是mn矩阵，则$A^TA$是对称矩阵且可以正交对角化，令{$v_1,...v_n$}为$R^n$单位正交基且构成$A^TA$的特征向量，{$\lambda_1...\lambda_n$}是$AA^T$对应的特征值，则有：

$||Av_i||^2=(Av_i)^TAv_i=v_i^TA^TAv_i=v_i^T(\lambda_iv_i)=\lambda_i$

可见$A^TA$的所有特征值均非负，不妨将其从大到小排序。则A的奇异值为$A^TA$的特征值的平方根，记为$\sigma_1,...,\sigma_n$，且按递减顺序排列，因此A的奇异值即为向量$Av_1,Av_2,...Av_n$的长度

在数值计算中，A的秩往往对A中元素的微小变化很敏感，为此在计算矩阵的秩时，通常采用计算非零奇异值的个数的方法得到秩的值

SVD分解：
矩阵A的分解涉及一个m*n的“对角矩阵”Σ，形式如下：
$\Sigma=$

几何意义：
我们知道，一个向量被一个对角矩阵左乘，相当于在原空间中做了水平和竖直两方向的拉伸，被一个对称矩阵左乘，相当于在原空间中先做了绕原点的旋转，然后再做了沿两个坐标轴的拉伸。而被一个mn矩阵左乘，则会使空间维度发生改变，相当于对向量做了高维或低维的投影，然后在做旋转或拉伸变换

在SVD分解公式中，矩阵∑起到改变空间维度的作用，$U$和$V^T$起到在新的空间中旋转并拉伸的作用

协方差矩阵：

主成分分析(PCA)：