线性代数之——正交矩阵和 Gram-Schmidt 正交化

最新推荐文章于 2023-11-07 19:56:06 发布

seniusen

最新推荐文章于 2023-11-07 19:56:06 发布

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：数学之美文章标签：正交矩阵 Gram-Schmidt 正交化

本文链接：https://blog.youkuaiyun.com/seniusen/article/details/84557158

数学之美专栏收录该内容

32 篇文章

订阅专栏

本文探讨了正交矩阵的特性及其在向量长度保持和点积保留中的作用，介绍了如何利用Gram-Schmidt正交化过程创建正交向量，并详细解释了矩阵的QR分解方法，展示了这一分解在解决最小二乘问题中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这部分我们有两个目标。一是了解正交性是怎么让 $x^\hat x$ 、 $p$ 、 $P$ 的计算变得简单的，这种情况下， $A^TA$ 将会是一个对角矩阵。二是学会怎么从原始向量中构建出正交向量。

1. 标准正交基

向量 $q1,⋯ ,qnq_1, \cdots, q_n$ 是标准正交的，如果它们满足如下条件：

$i=j(单位向量)q_i^Tq_j = \begin{cases} 0，&\text{if } i \not = j \quad(正交向量)\\ 1， &\text{if } i = j \quad(单位向量) \end{cases}$

如果一个矩阵的列是标准正交的，我们称之为 $Q$ 。很容易，我们可以得到 $Q^TQ=I$ 。

当 $Q$ 是方阵的时候，我们可以得到 $Q^T=Q^{-1}$ ，也即转置等于逆。

旋转（Rotation）

旋转矩阵 $Q$ 就是将任意向量逆时针旋转 $θ\theta$ ，其逆矩阵 $Q^{-1}$ 就是将任意向量顺时针旋转 $θ\theta$ 。

置换（Permutation）

置换矩阵的作用就是交换矩阵的行，在消元的时候有很大的作用。

镜像（Reflection）

如果 $u$ 是任意单位向量，那么 $Q = I-2uu^T$ 是一个正交矩阵。

$Q^2=Q^TQ=I$

绕对称轴镜像两次还是它本身。

取 $u_1=(1, 0)$ ， $u2=(1/2,−1/2)u_2=(1/\sqrt2, -1/\sqrt2)$ ，然后，我们可以得到两个正交矩阵。

$Q_1$ 将任意向量 $(x, y)$ 变为 $(- x, y)$ ， $y$ 轴是镜像轴。 $Q_2$ 将任意向量 $(x, y)$ 变为 $(y, x)$ ， $45 °$ 轴是镜像轴。

可以看到，旋转、置换和镜像都不会改变一个向量的长度。实际上，乘以任意正交矩阵都不会改变向量的长度。

$∣ ∣ Q x ∣ ∣ = ∣ ∣ x ∣ ∣$

$Qx||^2 = (Qx)^T(Qx) = x^TQ^TQx = x^TIx=||x||^2$

而且，正交矩阵也会保留两个向量的点积。

$Qx)^T(Qy) = x^TQ^TQy = x^Ty$

2. 正交矩阵的投影

当矩阵 $A$ 变成了正交矩阵 $Q$ ，那么投影就会变得非常简单，我们不需要求任何逆矩阵。

$ATAx^=ATb→x^=QTbA^TA\hat x=A^Tb \to \hat x=Q^Tb$

$p=Ax^→p=Qx^=QQTbp=A\hat x \to p=Q\hat x = QQ^Tb$

$A(A^TA)^{-1}A^T \to P = QQ^T$

当 $Q$ 为方阵的时候，子空间为整个空间，有 $Q^T=Q^{-1}$ 。 $x^=QTb\hat x = Q^Tb$ 就等同于 $x=Q^{-1}b$ ，也就是有唯一解， $b$ 的投影即为它本身。

这就是傅里叶变化和所有应用数学中各种变化的基础，它们将向量或者函数分解成正交的小片，将这些小片加起来之后就回到了原函数。

3. Gram-Schmidt 正交化和 $A$ 的 $Q R$ 分解

从上面我们可以看到正交对我们是非常有利的，现在我们就要找到一个方法来创造出标准正交的向量。假设我们有三个不相关的向量 $a, b, c$ ，如果我们能构造出正交的三个向量 $A, B, C$ ，那么再除以它们的长度就得到了标准正交向量。

首先，我们选取 $A = a$ ，那么 $B$ 必须垂直于 $A$ 。我们用 $b$ 减去其在 $A$ 的投影，就得到了垂直于 $A$ 的部分，这也就是我们要找的 $B$ 。

$\frac{A^Tb}{A^TA}A$

接着，我们再用 $c$ 减去其在 $A$ 和 $B$ 的投影，就得到我们要找的 $C$ 。

$\frac{A^Tc}{A^TA}A-\frac{B^Tc}{B^TB}B$

如果我们有更多的向量，那我们就用新的向量减去它在已经设定好的所有向量上的投影即可，最后，我们再除以它们各自的长度就得到了标准正交向量。

可以看到， $q_1=a/||a||$ ，没有涉及到其它向量， $a$ 、 $q_1$ 、 $A$ 都位于一条线上。第二步中 $b$ 也只是 $A$ 和 $B$ 的线性组合，不涉及到后面的向量， $a, b$ 、 $q_1,q_2$ 、 $A, B$ 都位于一个平面内。在每一个步骤中， $a1,a2,⋯ ,aka_1, a_2, \cdots, a_k$ 只是 $q1,q2,⋯ ,qkq_1, q_2, \cdots, q_k$ 的线性组合，后面的 $q$ 没有涉及到。

联系 $A$ 和 $Q$ 的矩阵 $R$ 是上三角形矩阵，有 $A = Q R$ 。

任意 $m \times n$ 的矩阵 $A$ ，如果其列是不相关的，那么就可以分解成 $Q R$ ， $Q$ 的列是标准正交的，而 $R$ 是上三角矩阵并且对角线元素为正，为向量 $⋯B,C⋯\cdots B,C\cdots$ 的长度。

然后，最小二乘就变成了

$ATAx^=ATb→RTQTQRx^=RTQTb→RTRx^=RTQTb→Rx^=QTb→x^=R−1QTbA^TA\hat x=A^Tb \to R^TQ^TQR\hat x=R^TQ^Tb \to R^TR\hat x=R^TQ^Tb \to R\hat x=Q^Tb \to \hat x = R^{-1}Q^Tb$