LinearAlgebra_3

矩阵空间、秩一矩阵、小世界图

矩阵空间

矩阵空间也是一种向量空间，对加法和数乘（或者说线性组合）封闭。
它的子空间，比如对称矩阵、上三角矩阵也是向量空间。

以$M_{3*3}$矩阵为例，维度是9。其对阵矩阵$S$的维度是6，其上三角矩阵$U$的维度是6。
$S \bigcap U$的维度是3，$S \bigcup U$不是线性空间，$S+U$的维度是9。
其中，

$S + U =$ any element of S + any element of U

有一个公式：

$$dim(S)+dim(U)=dim(S \bigcap U) + dim(S+U)$$

---

此外，还有一种特殊的向量空间（特殊在并不包含向量）。
比如解微分方程：

$$\frac{\mathrm{d}^2y}{\mathrm{d}x^2} + y = 0$$
这是一个线性微分方程，所求的解可以理解为寻找解空间的一组基底。

这组基底可以是(【cosx,0】,【0,sinx】)，也可以是（【e^(ix),0】,【e^(-ix),0】）。

此外，这组解空间的维数是2，因为$\mathrm{d}^2y/\mathrm{d}x^2$。

秩一矩阵

秩为1的矩阵，就像building blocks for all matrics。

比如

A = [1 4 5 ] = [1] * [1 4 5]
    [2 8 10]   [2]

如果$A_{5*11}$，$rank(A)=4$，那么原矩阵可以视为4个秩一矩阵的组合。

小世界图

Graph = {nodes, edges}
世界是很小的，往往通过几个edge就可以连到意想不到的node上面。
六度理论。

图和网络

上面的图，可以表示电路，水路，穹顶等，图论在现实生活中应用很广泛。
而且实际中的矩阵一般都是稀疏的。

下面的例子，仅以节点代表电位，连接节点的线代表电流通道。

零空间

考虑列的线性组合，如果列是相关的，那么就形成了一个loop电流通路。
零空间代表每个点的电势应该怎么样，才可以保证每个连接上的电流是0。
本题中零空间是一维的，说明在整个回路中如果需要确定基点的电势，因此一般选择一个点接地（零电位点），主要原因就是零空间是一维的。

$$e = Ax$$

左零空间

下面考虑$A^Ty=0，也就是每个连接上的电流是多少，才能够保证在每个node上的电流为0。
这个也叫作基尔霍夫电流定律，KCL。

这个题目中的维度是5-3=2。

行空间

行如果独立的话，那么就不是一个loop回路。
独立的最大数目的行，被称作tree。

欧拉公式

$$dim(N(A^T)) = m-r$$
loops = edges - (nodes-1)

工业用公式

no source term的电路公式可以表述为:
$e = Ax$
$y = Ce$
$A^Ty=0$
合在一起就是

$$A^TCAx=0$$
考虑了外加的source后：
$A^Ty=f$
$$A^TCAx=f$$

$A^TA$总是对称的。

正交向量和子空间

向量正交

向量点积为0的时候，表示向量正交，夹角为90度。

子空间正交

子空间正交，当且仅当子空间A的任意向量与子空间B的任意向量都垂直。

两个子空间正交，那么交点肯定不会有非零向量。

矩阵的bigPicture

行空间和零空间正交，且构成正交补（两个子空间加起来填补了整个$\mathrm{R^n}$）。
根据$Ax=0$可以看出来，零空间的任何一个向量与行空间向量的线性组合的点积都是0。

无解方程组的最优解

现实中，很多方程$Ax=b$都是无解的，这种情况一般是$m>n$。
比如多次对卫星的距离测量，多次测量脉搏等。

可以使用$A^TA$构建一个更好的矩阵。
这个矩阵的性质有：

1. $N(A^TA) = N(A)$
2. $rank(A^TA) = rank(A)$
3. $A^TA$是方阵，对称矩阵，但是不一定可逆

求解的方法是：

$$Ax=b -->> A^TAx=b$$

子空间投影

二维空间的简单投影

主要有三个式子：

$$x = a^Tb/a^Ta$$
$$p = a*x = a*\frac{a^Tb}{a^Ta}$$
$$P = \frac{aa^T}{a^Ta}$$

关于投影矩阵P

1. $P^T=P$
2. $P^k=P$

多维空间情况

$$A^T(b-Pb)=0$$
$$A^T(b-A\hat{x})=0$$
$$\hat{x} =(A^TA)^{-1}A^Tb$$
$$p = A\hat{x}=A(A^TA)^{-1}A^Tb$$
$$P = A(A^TA)^{-1}A^T$$