线性代数(4)：QR分解原理，矩阵在图上面的应用，正交向量，子空间，最小二乘法

$rank(A{A}^T)=rank(A)$,rank是矩阵的秩的意思。
投影矩阵有什么用？因为Ax=b很可能没有解，但是没有解我们可以求最接近的解啊。所以要把b投影到A的列向量空间中。为何要投影到A的向量空间中？因为Ax它的本质就是对A的列向量进行线性组合，而线性组合就是向量空间。如果我们能把b投影到A的向量空间中。

假设$A\hat{x}$是b在A列向量空间上的投影，那么$p=(A\hat{x}-b)$，其中$p$是误差向量。我们知道$A\hat{x}$是A的列向量空间中的一个向量，并且$A\hat{x}$是b在A列向量空间上的投影。那么$p=(A\hat{x}-b)$垂直于A的列向量空间。如下图所示：

现在我们证明下$A^{T}A\hat{x}=A^{T}b$
根据$p=(A\hat{x}-b)$垂直于A的列向量空间，所以$A^T(A\hat{x}-b)=0$，所以 A T A x ^ = A T b A^TA\hat x=A^Tb