线性代数及其应用：第三章 正交

前言：这篇blog是《 Linear Algebra and Its Applications》第三章的一些学习笔记

第三章 正交

  这一章引出新工具：内积，投影
  重点：施密特正交化法

1. 正交向量与子空间

1.1. 内积

  向量$\alpha ,\beta$的内积定义成$<\alpha ,\beta >={\alpha }^T\beta$，可以理解成$R^n\times R^n\to R$的映射，向量模的平方就是自己与自己的内积$||x|{|}^2=x^{T}x$。内积有如下性质：

1. $<\alpha ,\alpha >\ge 0$
2. $<\alpha ,\beta >=<\beta ,\alpha >$
3. $<\alpha +\gamma ,\beta >=<\alpha ,\beta >+<\gamma ,\beta >$
4. $<c\alpha ,\beta >=c<\alpha ,\beta >$

1.2. 矩阵四大子空间的正交关系

  在$R^n$空间，行空间与零空间正交互补，记为$C(A^T)=(N(A){)}^{\perp }$，即$dim(N(A))+dim(C(A^T))=n$，$dim()$表示向量空间的维度。
  在$R^m$空间，列空间与左零空间正交互补，记为$C(A)=(N(A^T){)}^{\perp }$，即$dim(N(A^T))+dim(C(A))=m$，$dim()$表示向量空间的维度。

列空间与左零空间正交互补，即两者列空间与左零空间的向量相加，可以构成$R^m$，正交互补并不是说$R^m$中只有列空间与左零空间，列空间和左零空间的向量也是有m个数组成的，在$r<m$时，$R^m$相对于$C(A)$与$N(A^T)$是更高维，一个高维空间，不能由两个低维空间构成，但可以说，$R^m$向量空间中的一个向量$x$，可以由$C(A)$的一个向量$x_1$与$N(A^T)$一个向量$x_2$相加构成，关于这一点可以类比三维直角坐标系，三维任一点可以由xy平面一点的坐标和z直线上一点的坐标相加得到，但并不能说三维平面只有xy平面和z直线；在$r=m$时，$R^m=C(A),N(A^T)=\varnothing$。

如何证明正交补？主要还是因为$dim(N(A^T))+dim(C(A))=m$，且$N(A^T)$中向量和$C(A)$中向量正交。

1.3. 矩阵的真正作用

  如上图所以，左边的两个矩形空间是行空间(row space，维度为r)与零空间(nullspace，维度为n-r)；右边的两个矩形空间是列空间(column space，维度为r)与左零空间(left nullspace，维度为m-r)。同时矩形空间之间的"$└$"符号表示了两个子空间之间是正交的。
  从$R^n$中找一点x，可表示为$x=x_r+x_n$，$x_r$表示行空间中的某一向量，$x_n$表示零空间中的某一向量，而矩阵$A_{m\times n}$作用于$x$，即$Ax=A(x_r+x_n)=A{x}_r+0=b$，$b$是列空间中的向量。所以矩阵$A_{m\times n}$的作用就是把$C(A^T)$空间中的向量映射到$C(A)$空间。第六章会定义伪逆$A^{+}$，$A^{+}Ax=x$。

---

2. 向量投影到向量

  向量$b$向向量$a$的投影，设$x=\frac{||p||}{||a||}$，即$x$为$b$在$a$上的投影向量$p$的模除以$a$的模，所以$p=xa$，不难看出，$$a^{T}e=a^T(b-p)=a^T(b-xa)=0$$所以$$x=\frac{a^{T}b}{a^{T}a}$$故$$p=xa=\frac{a^{T}b}{a^{T}a}a=a\frac{a^{T}b}{a^{T}a}=\frac{a{a}^T}{a^{T}a}b=Pb$$这里一定要意识到$a^{T}b$是一个数，所以向量$a$可以提到前面，再用结合律即可。
  这样我们就推出了向量$b$投影到向量$a$的投影矩阵$$P=\frac{a{a}^T}{a^{T}a}$$$P$矩阵对称且满足$P^2=P$，可见该投影矩阵和向量$b$没有任何关系，如果向量$a=(cos\theta ,sin\theta )$，则$P=\left[\begin{array}{cc}{c}^2& cs\\ cs& s^2\end{array}\right]$，和第二章的二维投影矩阵吻合。

---

3. 向量投影到列空间与最小二乘法

3.1. 向量投影到列空间

  向量$b$投影到矩阵$A$的列空间，设投影向量是$A\hat{x}$，其中$\hat{x}$在 A A