线性代数基本公式结论简要总结(2)

本文主要总结矩阵代数（运算、逆、分块矩阵、LU分解、子空间、秩）和行列式相关内容。

矩阵乘积AB的每一列都是A各列的线性组合，且以B中对应的列的元素作为权重。

矩阵的幂：
只有方阵可以乘幂，幂的计算可以利用矩阵对角化（特征值分解）实现：
$A=P\Lambda P^{-1}$
$A^k=P\Lambda ^kP^{-1}$
其中$\Lambda$是对角矩阵，且主对角线上的元素为A的特征值，P的各列为对应的特征向量。当然，A可以对角化的充要条件是A(n×n)存在n个线性无关的特征向量。
特别地，$A^0=I$，为单位阵

矩阵转置：
$(A^T)^T=A$
$(A+B)^T=A^T+B^T$
$(AB)^T=B^TA^T$
$(A_1A_2...A_{m-1}A_m)^T=A_m^TA_{m-1}^T...A_2^TA_1^T$

矩阵的逆：
只有方阵才可能存在逆（其他矩阵存在伪逆），n阶方阵A可逆的充要条件是det(A) != 0，此时的方阵A称为非奇异矩阵，若n阶方阵A满足det(A) = 0，则不可逆，称为奇异矩阵（sigular matrix）。

性质：
$AA^{-1}=I$
$(A^T)^{-1}=(A^{-1})^T$
$(AB)^{-1}=B^{-1}A^{-1}$
$(A_1A_2...A_{m-1}A_m)^{-1}=A_m^{-1}A_{m-1}^{-1}...A_2^{-1}A_1^{-1}$

可逆矩阵和矩阵行变换有着重要联系，借此可以计算矩阵的逆。且可逆矩阵行等价于单位矩阵。

初等矩阵：把单位矩阵进行一次行变换，就得到了初等矩阵

逆矩阵$A^{-1}$的算法：
法1.把增广矩阵[$A$ $I$]进行行化简，若A行等价于I，则[$A$ $I$]行等价与[$I$ $A^{-1}$]，否则A没有逆。

法2. 根据公式：$A^{-1}=\frac{A^*}{det(A)}$ ，其中$A^*$为A的伴随矩阵，每一元素均为A中各元素的代数余子式。

考虑$Ax=[{e_1,e_2...e_n}]$，可以看成n个方程，逐个解方程，对应的每个解就是$A^{-1}$中对应的各列。

可逆矩阵定理：
设A为n×n矩阵，则下列命题等价（同时为真或同时为假）：
1.A是可逆矩阵
2.A等价于n×n单位矩阵
3.A有n个主元位置
4.方程Ax=0仅有平凡解
5.方程Ax=b至少有一个解
6.A的各列线性无关
7.映射x->Ax为单射（一对一）
8.A的各列可生成空间$R^n$
9.$A^T$是可逆矩阵
10.存在n×n矩阵C满足$CA=I$
11.存在n×n矩阵D满足$AD=I$

分块矩阵：
运用一种“整体”思想，将矩阵按行和列分块，有助于突出矩阵的一些本质结构，最主要作用是便于计算机进行计算，即把矩阵分块后再进行矩阵运算更有效。分块后的矩阵运算法则和原矩阵完全相同。

矩阵的伪逆：
伪逆矩阵是广义的逆矩阵，针对不存在逆矩阵的奇异矩阵和非方阵的矩阵，利用SVD来计算，用matlab中的pinv(A)表示A的伪逆。

设A为m×n矩阵，r为矩阵A的秩：
若A列满秩，列向量线性无关，r=n，Ax=b为超定方程组，存在0个或1个解，则$pinv(A)=(A^TA)^{-1}A^T$，满足$pinv(A)*A=I$，称为左逆

若A行满秩，行向量线性无关，Ax=b为欠定方程组，存在0个或无穷个解，则$pinv(A)=A^T(AA^T)^{-1}$，满足$A*pinv(A)=I$，称为右逆

若无行列满秩，即秩亏损，则先做奇异值分解$A=UDV^T$，U、V为正交矩阵，D为对角矩阵。然后取对角矩阵阵S，若D(i,i)=0，则S(i,i)=0，若D(i,i) != 0，则S(i,i)=1/D(i,i)，有$pinv(A)=VSU^T$

将左逆右乘A得到的是在A矩阵列空间（A矩阵各列构成的子空间）的投影矩阵，将右逆左乘A得到的是在A矩阵行空间（A矩阵各行构成的子空间）的投影矩阵。

矩阵的因式分解：
矩阵因式分解是把矩阵分为多个矩阵的乘积，矩阵乘法是数据的综合，因式分解是数据的分解，因式分解相当于对矩阵中的数据做预处理，分成多个有用的部分，便于观察、分析和计算。最常见的分解方法是LU分解。

LU分解：
设A为m×n矩阵，可行化简为行阶梯形矩阵，则A可写成$A=LU$的形式，L是m×m的单位下三角矩阵，主对角线元素均为1，可逆；U是A的一个等价的m×n阶梯形矩阵，这样的分解称为LU分解。也就是说，通过这样的分解，将一个复杂的矩阵A分解成了两个具有较好性质的矩阵L和U，便于对A进行计算。

简单讲，LU分解的思想是：根据对一个矩阵(A)作行化简为阶梯形矩阵(U)的步骤，可以产生一个由单位矩阵按照完全相同的化简步骤得到的一个矩阵L(其恰为下三角矩阵且对角元素为1)，而LU乘积恰为原矩阵A。

LU分解算法：
1.尽可能地用一系列的行倍加变换将A化为阶梯形，作为最终的矩阵U
2.然后，填充L的元素，使上述1中相同的行变换把L变为I，得到最终的矩阵L

数值计算：
若A为n×n的稠密矩阵（大部分元素非零）且n很大，则有（均在浮点运算下）：
1.计算A的LU分解，时间复杂度： $O(n^3)$
2. 计算A的逆$A^{-1}$，时间复杂度： $O(n^3)$

$R^n$的子空间：
def:$R^n$中的一个子空间是$R^n$中的集合H，具有以下三个性质：
1.零向量属于H
2.对H中任意的向量u和v，u+v 属于H
3.对H中任意向量u和c，cu属于H

即子空间是*$R^n$的一个向量子集，子空间对加法和标量乘法运算是封闭的。例如：三维空间中一个通过原点的平面是三维空间的一个子空间。（不过平面则不是子空间）

矩阵的列空间与零空间：
def:矩阵A的列空间是A的各列的线性组合的集合，记作Col A
　　矩阵A的零空间是齐次方程Ax=0的所有解的集合，记作Nul A

子空间的基：
def:$R^n$中的子空间H的一组基是H中的一个线性无关集，它生成H(即H中的任意一个向量均可被这组基的线性组合唯一表示)
其中，单位阵$I$的各列的集合称为$R^n$的标准基。针对矩阵：矩阵的主元列构成列空间的基（零子空间无基）

显然：若子空间H有一组基包含p个向量，则H的每个基都正好包含p个向量

矩阵的秩和空间的维度：
子空间维度def:非零子空间H的维数dim H，是H的任意一个基的向量个数，零子空间{0}的维数定义为零（因此，$R^n$空间的维数为n，且每个基由n个向量组成）

矩阵的秩
def:矩阵$A$的秩(rank$A$)是A的列空间的维数

秩定理：若一个矩阵A有n列，则 rankA + dim NulA = n

可逆矩阵定理（续）：
设A是一个n×n矩阵，以下命题与A是可逆矩阵等价
12.A的列向量构成$R^n$的一个基
13.Col A = $R^n$
14.dim ColA = n
15.rankA = n
16.NulA = {0}
17.dim NulA = 0

计算机数值计算时，通常用SVD分解来求矩阵的秩，而不是用手算是用的行化简法（数据精度问题的取舍可能导致计算机求出的秩出错）

行列式：
只有方阵才有行列式
行列式A中某元素[$a_{ij}$]的代数余子式：
$C_{ij}=(-1)^{i+j}detA_{ij}$
其中，$A_{ij}$为该元素[$a_{ij}$]的余子式，即在原矩阵中，去除该元素所在的行和列后余下元素构成的矩阵。矩阵$A$的伴随矩阵$adjA$(或$A^*$)中的每个元素即为原矩阵对应位置的代数余子式。

以代数余子式的形式可以做行列式展开：即将矩阵中的某一列或某一行上的各个元素与其对应的代数余子式乘积的和，就是行列式的值。

若矩阵$A$为对角阵，则行列式等于$A$主对角线上元素的乘积

行列式性质：
行变换：
倍加：前后矩阵行列式不变
倍乘：行列式也乘以同样的常数
行互换：行列式变成相反数

方阵A可逆当且仅当detA != 0
$detA^T=detA$
$detAB=(detA)(detB)$

Cramer法则：
设A是一个可逆的n×n矩阵，对$R^n$中任意向量b，方程Ax=b的唯一解可有下式给出：
$x_i=\frac{detA_i(b)}{detA},i=1,2...,n$
$A_i(b)$表示A中第i列由向量b替换得到的矩阵

行列式几何意义：n×n矩阵的行列式相当于是在$R^n$空间中对应（由该矩阵各列向量构成）的n维几何体体积