线性代数基本公式结论简要总结(4)

本文复习矩阵的特征值、特征向量、对角化、正交性（投影、施密特正交化、QR分解、内积空间）等内容。

特征值和特征向量：
def:A为n×n矩阵，x为非零向量，若存在数$\lambda$使$Ax=\lambda x$成立，则称$\lambda$为A的特征值，x称为对应于$\lambda$的特征向量。

矩阵的特征值表征了矩阵的一些很重要的特征，特征值越大，说明其涵盖了矩阵越多的信息。 PCA就是通过筛掉较小的特征值，留下较大特征值实现的数据降维。

根据定义，特征向量必须非零，特征值可以为0。且可以得到特征方程如下：
$(A-\lambda I)x=0$
据此可知$A-\lambda I$为奇异矩阵，即$det(A-\lambda I)=0$，进而可以计算一个方阵A的特征值，然后将特征值逐一代入特征方程中，求解齐次线性方程，得到该特征值对应的特征向量。若根据同一个特征值得到了k个线性无关的特征向量，则称该特征值为k重特征值。

几何意义：
考虑$Ax=\lambda x$，一个方阵A(n×n)乘以一个$R^n$空间中的向量x，相当于对向量x做了一个变换，其特点是：变换前后向量x的方向不变，大小（长度）扩大了$\lambda$倍，且仍然在$R^n$空间中。

即：对于给定的矩阵A，满足上述特点的向量x称作A的特征向量，x扩大的倍数称作A的特征值$\lambda$。

这一点可以类比信号与系统中关于线性时不变系统特征函数（指数函数）的介绍：一个LTI系统作用于一个输入，当且仅当该输入信号为指数函数形式时，输出响应与输入激励形式相同，幅度扩大常数倍，称这样的函数为LTI的特征函数，扩大的系数为特征值。

性质：
1.三角矩阵的主对角线的元素即为其特征值
2.矩阵相异特征值对应的特征向量集合线性无关
3.对于矩阵$A_{n\times n}$，其n个特征值{${\lambda }_1,{\lambda }_2...{\lambda }_n$}加和等于矩阵$A$的迹，乘积等于A的行列式：
${\sum }_{i=1}^n{\lambda }_i=tr(A)$
${\prod }_{i=1}^n{\lambda }_i=det(A)$　
4.数$\lambda$是n×n矩阵A特征值的充要条件是$\lambda$是特征方程$det(A-\lambda I)=0$的根
5.$det(A-\lambda I)$是n次多项式，称为A的特征多项式
6.对于实对称矩阵，其不同特征值对应的特征向量两两正交（可作为空间中的一组正交基）
7.若实矩阵是对称或近似对称的，其特征值均为实数；若矩阵是反对称（对应位置互为相反数）的，特征值均为纯虚数
8.只有方阵才有特征值

相似矩阵：
设A、B是n×n矩阵，如果存在可逆矩阵P，使得$P^{-1}AP=B$，则称A相似于B，把A变成$P^{-1}AP$的变换称为相似变换

对角化：
n×n矩阵A可对角化的充要条件是A有n个线性无关的特征向量

即A对角化充要条件是A有足够的特征向量可以形成$R^n$的基，我们称这样的基为特征向量基。矩阵对角化形式如下：
$A=P\Lambda P^{-1}$
$\Lambda$为对角线上元素均为A的特征值的对角矩阵，P的各列均为$\Lambda$中对应特征值的特征向量

容易得出如下结论：
1.有n个相异特征值的n×n矩阵可对角化
2.设A为对称矩阵，对角化有：
$A=Q\Lambda Q^{-1}=Q\Lambda Q^T$
矩阵Q为正交矩阵（$Q^T=Q^{-1}$）,上式有时还称为谱定理

当然，对于存在多重（大于1重）特征值的矩阵，当且仅当各个多重特征值所对应的特征向量之间线性无关时，该矩阵可以对角化

观察到矩阵对角化具有的特殊形式，考虑对矩阵做幂运算有：
$A^k=P{\Lambda }^k{P}^{-1}$

据此可以方便地计算一个矩阵的方幂$A^k$，而且可得到如下结论：
1.若矩阵$A$的特征值为一系列$\lambda$，则矩阵$A^k$的特征值为一系列${\lambda }^k$，但其特征向量不变（由几何意义易得：方向不变）
2.对于一个矩阵A，如果当k趋于无穷时，$A^k$趋近于零矩阵，则称A是稳定的（此时一定满足条件：A的所有特征值的绝对值小于１）

正交性：
向量的长度定义为向量的二范数，向量长度也称范数

长度为1的向量称为单位向量，一个非零向量除以自身的长度可以得到单位化的向量，这个过程称为向量的单位化

空间距离的定义：
def:$R^n$中向量u和v的距离，记作$dist(u,v)$，表示向量u-v的长度，即
$dist(u,v)=||u-v||$

正交向量：
如果两个向量u和v满足$uv=0$，则向量u和v正交
两个向量正交u，v的充要条件是$||u+v|{|}^2=||u|{|}^2+||v^2||$

正交补：
若向量z与$R^n$的子空间W中的任意向量均正交，则称z正交于W
与子空间W正交的所有向量z的集合称为W的正交补，记作$W^{\perp }$，它也是$R^n$的一个子空间

向量的夹角和相关系数：
空间中的两个向量u和v 有内积表达式：
$uv=||u||||v||cos\theta$
其中的$\theta$称作两个向量的夹角，也称作它们的相关系数

正交投影：
考虑在一个n维空间中，一个向量y在一组正交基$u$={$u_1,u_2...u_n$}上的投影：
$pro{j}_{L}y=\frac{y\ast u}{u\ast u}\ast u$
我们称上式中的$pro{j}_{L}y$为y在u上的正交投影，上式也称为正交分解定理。类似地，空间中任一向量y在子空间W上的正交投影$pro{j}_{W}y$是子空间W中最接近y的点，这被称为最佳逼近定理

$Py=u$
上式P称为投影矩阵，相当于对向量y做的一个直接的变换，称为与u同方向的一个投影，投影矩阵有如下性质：
$P^T=P$
$P^2=P$
考虑三维及以上情况的投影，将向量u投影到子空间W上，正交投影p=Ax，x为子空间中的一组正交基，且有投影矩阵产生的变换：$Pu=p$，同理可得投影矩阵P的通式：
$P=A(A^{T}A{)}^{-1}{A}^T$

一个显然的定理：一个m×n矩阵U具有单位正交列向量的充要条件是$U^{T}U=I$。这定义了正交矩阵的基本性质

正交投影可类比与空间中力的分解，很好理解

施密特（Gram-Schmidt）正交化：
施密特方法是对$R^n$空间中任何非零子空间，构造正交基后标准正交基的一个简单算法，该算法的思想基于刚刚提到的正交投影：不失一般性，考虑二维平面上的给定的两个非正交的向量u、v，先计算出向量u相对于v的正交投影proj，向量u与该投影相减即为和v正交的向量，然后对二者单位化即可得到标准正交基。算法流程如下：
对于$R^n$中子空间的一个基{$x_1,x_2,...,x_p$},定义：
$v_1=x_1$
$v_2=x_2-\frac{x_2{v}_1}{v_1{v}_1}{v}_1$
$v_3=x_3-\frac{x_3{v}_1}{v_1{v}_1}{v}_1-\frac{x_3{v}_2}{v_2{v}_2}{v}_2$
…
$v_p=x_p-\frac{x_p{v}_1}{v_1{v}_1}{v}_1-\frac{x_p{v}_2}{v_2{v}_2}{v}_2-...-\frac{x_p{v}_{p-1}}{v_{p-1}{v}_{p-1}}{v}_{p-1}$
那么{$v_1...v_p$}是W的一个正交基，将其标准化后得到W的一组标准正交基

标准正交基即为一个正交基中每个向量的单位化（除以自身的二范数）

QR分解：
若m×n矩阵A的列线性无关，则A可分解为$A=QR$，其中Q是一个m×n矩阵，其列形成ColA的一个标准正交基**，R是一个n×n的上三角可逆矩阵，且对角线上的元素为正数。证明如下：

由于$A=[x_1,x_2,...x_n]$，利用施密特正交化可以得到有一组标准正交基组成的列向量矩阵$Q=[u_1,u_2,...u_n]$，且满足：
对任意$x_k$属于Span{$u_1,...u_k$},存在常数{$r_{1k},r_{2k},...r_{kk}$}使得：
$x_k=r_{1k}{u}_1+...+r_{kk}{u}_k+0u_{k+1}+...+0u_n$
即：$x_k=Q{r}_k$，其中$r_k=[r_{1k},...r_{kk},0,...,0]$，取$R=[r_1,r_2,...r_n]$，则有：
$A=QR$

计算：对于给定矩阵A，首先利用施密特正交化计算出标准正交矩阵Q，然后由$R=Q^{-1}A$可得上三角矩阵R

最小二乘问题：
针对一个不相容的方程组：$Ax=b$，利用投影中最佳逼近定理找到一个使得$||Ax-b||$最小的解x，称为最小二乘解，由如下定理得到：
一个定理：方程$Ax=b$的最小二乘解集和法方程$A^{T}Ax=A^{T}b$的非空解集一致
显然，该法方程解集为：（当然，也可以先将A做QR分解然后再计算）
$x=(A^{T}A{)}^{-1}{A}^{T}b$
可以注意到，该解的形式和统计中常用的线性回归算法的解相同，因为求解线性回归问题的一个简单优化方法正是计算其不相容线性方程组的最小二乘解（当然现在更多的使用梯度下降）

内积空间：
向量空间V上的内积是一个函数，对每一对属于V的向量u和v，存在一个实数$<u,v>$满足下面公理，对任意属于V的u,v,w和所有数c：
1.$<u,v>=<v,u>$
2.$<u+v,w>=<u,w>+<v,w>$
3.$<cu,v>=c<u,v>$
4.$<u,u>$ >=0且$<u,u>=0$的充要条件是u=0
一个赋予上面内积的向量空间成为内积空间

有以下两个不等式：
1.$|<u,v>|$<=$||u||||v||$（柯西-施瓦茨不等式）
2.$||u+v||$<=$||u||+||v||$ （三角不等式）
函数的内积是定义在某个区间上的函数乘积的积分