线性代数笔记5：Gram-Schmidit正交化

上一讲我们学习了最小二乘法，主要就是求解$A^TAx = A^Tb$这个方程，我们能不能想办法使得这个方程越简单越好呢？

引言

如果矩阵的列向量互相正交，若长度都为一，则称为标准正交阵，若满秩，即$Q$为方阵，那么我们称这个矩阵为正交矩阵（orthogonal matrix）。标准正交阵有很多很好的性质：

• $Q^TQ=I，$不要求$Q$为方阵

• 如果$Q$为方阵，则$Q^T = Q^{-1}$。

  • $Qx$是保持长度的变换

    $$||Qx||^2 =(Qx)^T(Qx) = x^TQ^TQx = x^Tx = ||x||^2$$

  • $Q$不改变向量点积。

    $$Qx\times Qy = (Qx)^TQy=x^TQ^TQy = x^Ty$$

  反射矩阵

  设$u$是一列向量，$u^Tu = 1$。

  令$Q = I_n - 2uu^T，u\in R^n$。$Q$为一个反射矩阵(refection matrix)。

  $$Q^T = I - 2uu^T = Q， \space Q^TQ = I - 4uu^T + 4uu^T = I$$
  $$Qu = u - 2uu^Tu = -u$$

  可以感性地认为$u$在$Q$上“没有动”，类似于镜面。

  投影与正交

  在上一讲中，我们推导了向量投影的公式，里面有$A^TA$的形式，如果用$Q$来代替$A$，那么可以重新推导结论：

  • 投影矩阵P