4.4 标准正交基和格拉姆-施密特正交化

本节的两个目标就是为什么和怎么做(why and how)。首先是知道为什么正交性很好：因为它们的点积为零；$A^{T}A$ 是对角矩阵；在求 $\hat{\mathbf{x}}$ 和 $\mathbf{p}=A\hat{\mathbf{x}}$ 时也会很简单。第二个目的标是构建正交向量，通过格拉姆-施密特（Gram-Schmidt）正交化的方法选择原始基向量的组合生成直角。原始基向量就是 $A$ 的列，它可能不是正交的。标准正交基向量将会是新矩阵 $Q$ 的列。

一、标准正交矩阵 Q

一组基包含可张成空间的无关向量，这些基向量可能是以任意角度相交的（不能是 $0°$ 和 $180°$）。我们所看到的坐标轴，它们都是垂直的，而正交可以简化图形也能大大的减少计算。
一组向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_n$，当它们的点积 ${\mathbf{q}}_i\cdot {\mathbf{q}}_j=0$ 时，它们的正交的。更确切的说应该是只要 $i\ne j$ 时，${\mathbf{q}}_i^T{\mathbf{q}}_j=0$。更进一步，我们将每个向量除以它的长度，这组向量就变成了正交单位向量，它们的长度都为 $1$（标准），这组基就称为标准正交基（orthonormal）。

定义 \kern 5pt 向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_n$ 标准正交，如果：$${\mathbf{q}}_i^T{\mathbf{q}}_j=\{\begin{array}{l}0,i\ne j(正交向量)\\ 1,i=j(单位向量:||{\mathbf{q}}_i||=1)\end{array}$$标准正交列的矩阵用指定字母 $Q$ 表示。

矩阵 $Q$ 很容易处理，因为 $Q^{T}Q=I$。用矩阵语言来说就是列 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_n$ 是标准正交的，$Q$ 不一定要是方阵。

有标准正交列的矩阵 $Q$ 满足 $Q^{T}Q=I$：$$Q^{T}Q=\left[\begin{array}{c}--{\mathbf{q}}_1^T--\\ --{\mathbf{q}}_2^T--\\ ⋮\\ --{\mathbf{q}}_n^T--\end{array}\right]\left[\begin{array}{cccc}|& |& & |\\ {\mathbf{q}}_1& {\mathbf{q}}_2& \cdots & {\mathbf{q}}_n\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right]=I(\mathrm{4.4.1})$$

$Q^T$ 的第 $i$ 行乘 $Q$ 的第 $j$ 列，点积是 ${\mathbf{q}}_i^T{\mathbf{q}}_j$，非对角线（$i\ne j$）上的元素因为正交性它们的点积都为零；对角线（$i=j$）上的元素是 $1$，因为单位向量有 ${\mathbf{q}}_i^T{\mathbf{q}}_i=||{\mathbf{q}}_i|{|}^2=1$。通常 $Q$ 是矩形（$m>n$），有时也有 $m=n$。$$当Q是方阵时，Q^{T}Q=I意味着Q^T=Q^{-1}：转置=逆$$如果列仅仅是正交但不是单位矩阵，点积仍然得到对角矩阵（不是单位矩阵）。对角矩阵和单位矩阵 $I$ 基本上一样，重要的是正交性 —— 单位化很简单。
重复：尽管 $Q$ 是个矩形矩阵，仍然有 $Q^{T}Q=I$，这种情况下 $Q^T$ 只是左逆矩阵。对于方阵来说，也有 $Q^{T}Q=I$，所以 $Q^T$ 是 $Q$ 的双边逆矩阵。方阵 $Q$ 的行像它的列一样都是正交的，此时逆矩阵就是转置矩阵。方阵的情况下我们称 $Q$ 是正交矩阵。（只有当 $Q$ 是方阵时我们才称为正交矩阵：orthogonal matrix。）
下面是正交矩阵的三个例子：旋转（rotation）、置换（permutation）和反射（reflection）。最快的检验方法就是检查 $Q^{T}Q=I$。

【例1】（旋转）$Q$ 将平面的任意向量旋转角度 $\theta$：

$$Q=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]和Q^T=Q^{-1}=\left[\begin{array}{cc}\cos \theta & \sin \theta \\ -\sin \theta & \cos \theta \end{array}\right]$$

$Q$ 的列是正交的（可以通过它们的点积进行验证），它们也是单位向量，因为 ${\sin }^2\theta +{\cos }^2\theta =1$。这些列是平面 ${\text{R}}^2$ 的一组标准正交基。
$Q$ 将标准基向量 $\mathbf{i}$ 和 $\mathbf{j}$ 旋转 $\theta$ 角（如 Figure 4.10a）；$Q^{-1}$ 将向量旋转 $-\theta$ 角旋转回来，它与 $Q^T$ 是一样的，因为 $\cos (-\theta )=\cos \theta$，$\sin (-\theta )=-\sin \theta$。我们有 $Q^{T}Q=I$ 且 $Q{Q}^T=I$。

【例2】（置换）这些矩阵改变将向量分量的顺序变为 $(y,z,x)$ 和 $(y,x)$：$$\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}y\\ z\\ x\end{array}\right]，\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}y\\ x\end{array}\right]$$$Q$ 的每一列的都是单位向量（它们的长度很明显都是 $1$），且都是正交的（$1$ 是在不同的位置）。置换矩阵的逆矩阵就是它的转置：$Q^{-1}=Q^T$。逆矩阵将向量的分量又变回原先的顺序：$$逆=转置：\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{c}y\\ z\\ x\end{array}\right]=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]，\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}y\\ x\end{array}\right]=\left[\begin{array}{c}x\\ y\end{array}\right]$$

每个置换矩阵都是一个正交矩阵。

【例3】（反射）如果 $\mathbf{u}$ 是任意的单位向量，令 $Q=I-2{\mathbf{uu}}^T$。注意 ${\mathbf{uu}}^T$ 是一个矩阵，而 ${\mathbf{u}}^T\mathbf{u}$ 是一个数字，且 $||\mathbf{u}|{|}^2=1$。则 $Q^T$ 和 $Q^{-1}$ 都等于 $Q$：$$Q^T=I-2{\mathbf{uu}}^T=Q且Q^{T}Q=I-4{\mathbf{uu}}^T+4{\mathbf{uu}}^T{\mathbf{uu}}^T=I(\mathrm{4.4.2})$$反射矩阵 $I-2{\mathbf{uu}}^T$ 是对称且正交的矩阵，将它平方可以得到单位矩阵：$Q^2=Q^{T}Q=I$。通过镜子反射两次会回到原始状态，就像 $(-1{)}^2=1$。注意方程（4.4.2） $4{\mathbf{uu}}^T{\mathbf{uu}}^T$ 中的 ${\mathbf{u}}^T\mathbf{u}=1$。

图中选择的方向是 $\mathbf{u}=(-\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}})$。计算 $2{\mathbf{uu}}^T$（列乘行）然后将其从 $I$ 中减去就可以得到在方向 $\mathbf{u}$ 的反射矩阵 $Q$： 反射 ： Q = I − 2 [ 1 / 2