通过向量和投影来实现函数的降维

最新推荐文章于 2024-08-24 14:56:37 发布

原创最新推荐文章于 2024-08-24 14:56:37 发布 · 1.7k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#线性代数 #向量

线性代数专栏收录该内容

13 篇文章

订阅专栏

本文探讨了如何通过正交投影实现函数的降维，类似于将三维向量投影到二维平面上。首先介绍了正交投影的概念，以三维向量为例，解释了正交投影是最优近似的性质。接着，阐述了函数降维的原理，将函数视为向量，并通过选取特定点作为标准，将函数向量投影到低维空间。最后，通过实例展示了不同判断标准下的函数近似，并指出微积分可用于考虑所有点的情况。

函数 $f(x)=5-\frac{1}{2}x^4$ 的图像如下：

它其实和二次曲线的图像差不多，比如 $f(x)=5-\frac{1}{2}x^2$ ：

那我们有没有办法找到一个最接近 $f(x)=5-\frac{1}{2}x^4$ 的二次曲线，从而实现函数的降维呢（这里看起来像是降幂，其实是降维，后面会进一步解释）？这就是本文要讨论的问题。

本文讨论的或许有点高能，如果同学能沉下心来看完，就算没有完全看懂，也可能会在数学上开一扇窗。

1 正交投影与降维

让我们从某个向量的降维说起。这需要两步，“正交投影”和“降维”，下面一一来说明。

1.1 正交投影

比如下图是三维向量 $\boldsymbol{x}=\begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix}$ ：

假如将其向某平面 $V$ 作垂线，得到它的正交投影 $\boldsymbol{x}_1$ ：

根据高中的几何知识可知， $\boldsymbol{x}_1$ 是平面 $V$ 中离三维向量 $\boldsymbol{x}$ 最近的点，其余点（比如下图中的红点）和 $\boldsymbol{x}$ 的距离都会更远：

所以，可认为正交投影 $\boldsymbol{x}_1$ 是平面 $V$ 中关于三维向量 $\boldsymbol{x}$ 的最佳近似。

1.2 降维

假设平面 $V$ 是由 $\boldsymbol{v}_1$ 和 $\boldsymbol{v}_2$ 张成的：

那么正交投影 $\boldsymbol{x}_1$ 就必然可由 $\boldsymbol{v}_1$ 和 $\boldsymbol{v}_2$ 线性组合出来：

也就是存在 $k_1,k_2\in\mathbb{R}$ 使得：

$\boldsymbol{x}_1=k_1\boldsymbol{v}_1+k_2\boldsymbol{v}_2$

或者认为正交投影 $\boldsymbol{x}_1$ 在平面 $V$ 中的坐标为 $\begin{pmatrix}k_1\\k_2\end{pmatrix}$ 。所以，如果用正交投影 $\boldsymbol{x}_1$ 来近似表示 $\boldsymbol{x}$ 的话，就可以认为完成了 $\boldsymbol{x}$ 的降维：

2 函数的降维

2.1 原理

函数降维的原理和上面类似，但更抽象，不容易图形化，所以下面的讲解需要同学们大胆地去想象。

函数 $f(x)=5-\frac{1}{2}x^4$ 其实也是一个向量，它由向量 $1$ 、 $x$ 、 $x^2$ 、 $x^3$ 以及 $x^4$ （向量变为由函数构成，这样会极大扩大线性代数的应用场景。至于为什么能这么做，同学们可以自己扩展阅读高等代数）线性组合而成，也就是说它在 $1$ 、 $x$ 、 $x^2$ 、 $x^3$ 以及 $x^4$ 张成的向量空间中：

$5-\frac{1}{2}x^4=5\cdot 1+0\cdot x+0\cdot x^2+0\cdot x^3+\frac{1}{2\cdot x^4}$

如果将该函数向量 $f(x)=5-\frac{1}{2}x^4$ 投影到 $1$ 、 $x$ 和 $x^2$ 张成的向量空间，其正交投影肯定由 $1$ 、 $x$ 和 $x^2$ 线性组合而成，这样就达到了降维的目的。

2.2 制定标准

和实数相比，函数更为复杂，所以函数向量的近似也更复杂。比如下面有两个二次函数，它们都是对 $f(x)=5-\frac{1}{2}x^4$ 不错的近似：

哪一个更好？就看你的判断标准是什么。比如其中的 $\frac{14}{3}-\frac{1}{2}\left(x^2-\frac{2}{3}\right)$ ，它在 $x=-1$ 、 $x=0$ 以及 $x=1$ 时和四次函数 $y=5-\frac{1}{2}x^4$ 完全重合：

如果以这三点为判断标准的话，那么选择该二次函数作为近似就是最好的。下面是具体的计算过程。

2.3 函数值向量

要近似的函数向量是四次函数 $f(x)=5-\frac{1}{2}x^4$ ，因为判断标准是 $x=-1$ 、 $x=0$ 以及 $x=1$ 这三个点，所以将这三个点对应的函数值算出来，组成函数值向量

要求的二次函数由 $1$ 、 $x$ 和 $x^2$ 线性组合而成，那么 $x=-1$ 、 $x=0$ 以及 $x=1$ 这三个点的二次函数值也会由 $1$ 、 $x$ 和 $x^2$ 的函数值线性组合而成，所以分别算出函数向量 $1$ 、 $x$ 和 $x^2$ 在这三个点的函数值向量：

（说明一下，比如 $1$ 是一个常值函数，所以在 $x=-1$ 、 $x=0$ 以及 $x=1$ 这三个点的函数值都为 $1$ ，所以此时函数值向量为 $\begin{pmatrix}1\\1\\1\end{pmatrix}$ ；而 $x$ 在 $x=-1$ 、 $x=0$ 以及 $x=1$ 这三个点的函数值分别为 $-1$ 、 $0$ 后 $1$ ，所以其函数值向量为 $\begin{pmatrix}-1\\0\\1\end{pmatrix}$ ， $x^2$ 的函数值向量以此类推。）

这样我们就有了 4 个函数向量和函数值向量：

为什么要算出函数值向量呢？因为 $x=-1$ 、 $x=0$ 以及 $x=1$ 这三个点是我们的判断标准，所谓标准就是用它们来计算，也就是之后的投影操作都会用到这些函数值向量。

2.4 正交基

我们要投影的向量空间是由 $1$ 、 $x$ 和 $x^2$ 张成的，这三个向量目前并不是两两正交的，这样没有办法计算投影，所以先需要转为正交基。

为什么说不是两两正交的呢？因为我们的判断标准，也就是它们对应的函数值向量的点积不全为 $0$ ：

$\begin{pmatrix}1\\1\\1\end{pmatrix}\cdot \begin{pmatrix}-1\\0\\1\end{pmatrix}=0,\quad \begin{pmatrix}1\\1\\1\end{pmatrix}\cdot \begin{pmatrix}1\\0\\1\end{pmatrix}\ne 0,\quad\begin{pmatrix}-1\\0\\1\end{pmatrix}\cdot \begin{pmatrix}1\\0\\1\end{pmatrix}= 0$

下面用之前介绍过的施密特正交化来完成正交操作：

其中 $\begin{pmatrix}1\\1\\1\end{pmatrix}\cdot \begin{pmatrix}-1\\0\\1\end{pmatrix}=0$ ，这说明 $1$ 和 $x$ 是正交的，所以只需要计算（所有的点积运算都要依靠我们的判断标准，也就是函数值向量来进行）：

$\begin{aligned} x^2-\frac{x^2\cdot 1}{1\cdot 1}1-\frac{x^2\cdot x}{x\cdot x}x &=x^2-(\begin{pmatrix}1\\0\\1\end{pmatrix}\cdot\begin{pmatrix}1\\1\\1\end{pmatrix})/(\begin{pmatrix}1\\1\\1\end{pmatrix}\cdot\begin{pmatrix}1\\1\\1\end{pmatrix})1\\ &\quad - (\begin{pmatrix}1\\0\\1\end{pmatrix}\cdot\begin{pmatrix}-1\\0\\1\end{pmatrix})/(\begin{pmatrix}-1\\0\\1\end{pmatrix}\cdot\begin{pmatrix}-1\\0\\1\end{pmatrix})x\\ &=x^2-\frac{2}{3} \end{aligned}$