模与内积（四）矩阵分析与应用国科大

最新推荐文章于 2025-11-22 15:12:02 发布

原创最新推荐文章于 2025-11-22 15:12:02 发布 · 1.3k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #人工智能 #机器学习 #线性代数 #矩阵

上一节的最后是标准正交基，其需要满足各个向量之间正交且范数为1，接下来讲标准正交基的重要应用——傅里叶展开与施密特正交化。

傅里叶展开

若 $\mathcal{B} = \{\mathbf{u}_1, \mathbf{u}_2, \dots, \mathbf{u}_n\}$ 是内积空间 $\mathcal{V}$ 的标准正交基，则对任意 $\mathbf{x} \in \mathcal{V}$ ，可展开为： $\mathbf{x} = \langle \mathbf{u}_1 | \mathbf{x} \rangle \mathbf{u}_1 + \langle \mathbf{u}_2 | \mathbf{x} \rangle \mathbf{u}_2 + \dots + \langle \mathbf{u}_n | \mathbf{x} \rangle \mathbf{u}_n$

其中傅里叶系数： $\xi_i = \langle \mathbf{u}_i | \mathbf{x} \rangle$ 在基 $\mathcal{B}$ 下的坐标；

傅里叶级数

首先我们回忆一下傅里叶级数是怎么来的：

同样的方法也可以求解出 $b_n$ ，这样就得到了最常见的傅里叶级数的形式。

向量的傅里叶展开

下面我们来看如何对一个向量进行傅里叶展开：

1、函数内积的定义

首先我们需要定义一下两个函数如何做内积，在之前我们定义向量内积时，说过它本质上就是两个向量的每个对应分量做乘积再求和，但向量毕竟是离散的，而函数是连续的，连续的内积该如何定义呢？

高数中有提到：离散下的求和对应在连续下就是积分，所有函数内积定义为两个函数先相乘，在对乘积做积分。对于傅里叶变换定义在 $(-\pi, \pi )$ 上，它的内积如上图所示。

2、标准正交基

大家可以自行检验这个集是否符合，对于范数，可以分为常数、cos、sin三类检验范数是否为1；对于内积，也可以分常数、cos、sin三类之间作内积看是否为0；

3、傅里叶展开

傅里叶展开与傅里叶级数的联系

讲傅里叶系数带入之后即可变为傅里叶级数。带入计算后可发现对应系数有下面关系：

$\alpha_0 = \frac{a_0}{2} \cdot \sqrt{2\pi}$ ，即 $a_0 = \frac{2}{\sqrt{2\pi}} \alpha_0 = \frac{\sqrt{2}}{\sqrt{\pi}} \alpha_0$ ；
$\alpha_n = a_n \cdot \sqrt{\pi}$ ，即 $a_n = \frac{\alpha_n}{\sqrt{\pi}}$ ；
$\beta_n = b_n \cdot \sqrt{\pi}$ ，即 $b_n = \frac{\beta_n}{\sqrt{\pi}}$ 。

至此，就完成了如何把一个函数通过标准正交基的方式进行傅里叶展开。事实上，傅里叶展开的本质就是把任意一个周期函数写成正余弦函数的线性表示。

施密特正交化

所有有限维内积空间都存在标准正交基，施密特正交化的作用是将向量空间中一组任意的集变为一组标准正交的基，它的形式毕竟复杂，但理解起来是并不困难的

先以二维空间（平面）为例：

目标：将二维向量空间中的一组基（ $\boldsymbol{\alpha}_1,\boldsymbol{\alpha}_2$ ，其中 $\boldsymbol{\alpha}_1$ 与 $\boldsymbol{\beta }_1$ 共线）转换为正交的一组基（ $\boldsymbol{\beta }_1,\boldsymbol{\beta }_2$ ）

首先我们选择 $\boldsymbol{\alpha}_1$ 为基准，将其单位化后记作 $\boldsymbol{\beta }_1$ ；

如果想要 $\boldsymbol{\alpha }_2$ 与 $\boldsymbol{\beta }_1$ 正交（即垂直），从向量加减的角度来看，需要 $\boldsymbol{\alpha }_2$ 减去 $\boldsymbol{\alpha }_2$ 在 $\boldsymbol{\beta }_1$ 上的投影，这样得到的 $\boldsymbol{\beta }_2$ 恰好与 $\boldsymbol{\beta }_1$ 垂直，再进行单位化即可；

现在的目标变为如何求解 $\boldsymbol{\alpha }_2$ 在 $\boldsymbol{\beta }_1$ 上的投影；（投影的本质：就是需要原向量的长度+投影向量的方向）

从三角函数的角度来看，这个问题非常好解决，即 $\boldsymbol{\alpha }_2$ 乘上 $\cos\theta$ （ $\theta$ 是 $\boldsymbol{\alpha}_1,\boldsymbol{\alpha}_2$ 的夹角）

借助这个想法，得到 $\boldsymbol{\alpha }_2$ 在 $\boldsymbol{\alpha}_1$ 方向上的投影向量，需要将 “投影长度” 乘以 $\boldsymbol{\alpha}_1$ 方向的单位向量（即 $\frac{\boldsymbol{\alpha}_1}{\|\boldsymbol{\alpha}_1\|}$ ），因此投影向量为： $\left( \|\boldsymbol{\alpha}_2\| \cdot \cos\theta \right) \cdot \frac{\boldsymbol{\alpha}_1}{\|\boldsymbol{\alpha}_1\|}$

将 $\cos\theta = \frac{\langle \boldsymbol{\alpha}_1 | \boldsymbol{\alpha}_2 \rangle}{\|\boldsymbol{\alpha}_1\| \cdot \|\boldsymbol{\alpha}_2\|}$ 代入上式，化简得： $\left( \|\boldsymbol{\alpha}_2\| \cdot \frac{\langle \boldsymbol{\alpha}_1 | \boldsymbol{\alpha}_2 \rangle}{\|\boldsymbol{\alpha}_1\| \cdot \|\boldsymbol{\alpha}_2\|} \right) \cdot \frac{\boldsymbol{\alpha}_1}{\|\boldsymbol{\alpha}_1\|} = \frac{\langle \boldsymbol{\alpha}_1 | \boldsymbol{\alpha}_2 \rangle}{\langle \boldsymbol{\alpha}_1 | \boldsymbol{\alpha}_1 \rangle} \cdot \boldsymbol{\alpha}_1$

最后，再用 $\boldsymbol{\alpha}_2-\frac{\langle \boldsymbol{\alpha}_1 | \boldsymbol{\alpha}_2 \rangle}{\langle \boldsymbol{\alpha}_1 | \boldsymbol{\alpha}_1 \rangle} \cdot \boldsymbol{\alpha}_1$ 即得到了 $\boldsymbol{\beta }_2$

对应二维施密特正交化总结如下：

1、 $\boldsymbol{\beta }_1=\boldsymbol{\alpha }_1$

2、 $\boldsymbol{\beta }_2=\boldsymbol{\alpha}_2-\frac{\langle \boldsymbol{\alpha}_1 | \boldsymbol{\alpha}_2 \rangle}{\langle \boldsymbol{\alpha}_1 | \boldsymbol{\alpha}_1 \rangle} \cdot \boldsymbol{\alpha}_1=\boldsymbol{\alpha}_2-\frac{\langle \boldsymbol{\alpha}_1 | \boldsymbol{\alpha}_2 \rangle}{\langle \boldsymbol{\alpha}_1 | \boldsymbol{\alpha}_1 \rangle} \cdot \boldsymbol{\beta }_1$

同样的，三维施密特正交化也是这样，将第三个向量减去在前两个已经正交化的投影即可。

这里推荐一个GIF：三维施密特正交化可视化（我插入文章中的GIF太小了，这里是原文中的第一张动图，原文写的非常好，所有推导过程附带图片）：

对应任意的维度，施密特正交化公式如下：

施密特正交化的向量形式与矩阵形式

1、向量形式

这个过程与我们之前推导的一致，只不过写成了求和的形式

2、矩阵形式

对于施密特过程的第 $k$ 步，记已构造的前 $k-1$ 个标准正交向量为 $\mathbf{u}_1, \mathbf{u}_2, \dots, \mathbf{u}_{k-1}$ ，将它们按列拼接成矩阵： $\mathbf{U}_k = \left[ \mathbf{u}_1 \mid \mathbf{u}_2 \mid \dots \mid \mathbf{u}_{k-1} \right] \in \mathbb{C}^{m \times (k-1)}$

向量 $\mathbf{x}_k$ 在 $\text{span}\{\mathbf{u}_1, \dots, \mathbf{u}_{k-1}\}$ 上的正交投影为： $\mathbf{P}_k \mathbf{x}_k = \mathbf{U}_k \mathbf{U}_k^* \mathbf{x}_k$

再用 $\mathbf{x}_k$ 减去投影 $\mathbf{U}_k \mathbf{U}_k^* \mathbf{x}_k$ ，进行单位化即可写成矩阵表示。

（正交投影矩阵后续还会再介绍，这里大家理解它的作用即可）

从施密特正交化到QR分解

设矩阵 $\mathbf{A}_{m \times n} = [\mathbf{a}_1 \mid \mathbf{a}_2 \mid \dots \mid \mathbf{a}_n]$ 的列向量线性无关（列满秩），对其列向量应用施密特过程，得到列空间 $R(\mathbf{A})$ 的标准正交基 $\{\mathbf{q}_1, \mathbf{q}_2, \dots, \mathbf{q}_n\}$ 。

$k=1$ 时： $\mathbf{a}_1 = \nu_1 \mathbf{q}_1$ ；
$k \geq 2$ 时： $\mathbf{a}_k = \sum_{i=1}^{k-1} \langle \mathbf{q}_i | \mathbf{a}_k \rangle \mathbf{q}_i + \nu_k \mathbf{q}_k$ 。