[透彻理解]由最小二乘到SVD分解

[透彻理解]由最小二乘到SVD分解

借鉴的材料：

https://www.cnblogs.com/hxjbc/p/7443630.html

https://blog.youkuaiyun.com/macer3/article/details/48394239/

https://zhuanlan.zhihu.com/p/57803955

前言：最近在整理项目资料，其中有一个三维点云地面部分的提取。关于其理论，在此做一个整理。

1 问题引入：二维直线的拟合问题

假设我们有：$A:(1,2),B:(0,2),C:(2,3)$三个点，现在需要对这个三个点拟合一条直线。

设这条直线的方程为$y=ax+b$ 。我们希望这条直线可以同时通过这三个点，也就是这条直线的参数要满足:
$$\{\begin{array}{l}1\times k+b=2\\ 0\times k+b=2\\ 2\times k+b=3\end{array}$$
这是一个超定方程。为了后面表示方便，在这里我们用$x_1,x_2$来代替$k,b$。
$$\{\begin{array}{l}1\times x_1+x_2=2\\ 0\times x_1+x_2=2\\ 2\times x_1+x_2=3\end{array}$$
写成矩阵的形式：
$$\begin{array}{l}\left[\begin{array}{l}11\\ 01\\ 21\end{array}\right]\left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{l}2\\ 2\\ 3\end{array}\right]\\ \uparrow \uparrow \uparrow \\ A\times x=b\end{array}$$
这即是我们要优化的非齐次线性方程组$Ax=b$。

为了方便我们接下来的理解，现在将其拆分成下面这种形式：
$$\begin{array}{l}\left[\begin{array}{l}1\\ 0\\ 2\end{array}\right]\times x_1+\left[\begin{array}{l}1\\ 1\\ 1\end{array}\right]\times x_2=\left[\begin{array}{l}2\\ 2\\ 3\end{array}\right]\\ \uparrow \uparrow \uparrow \\ a_1\times x_1+a_2\times x_2=b\end{array}$$
这里的理解方式是，两个3维向量，经过$x_1$和$x_2$的线性组合之后，得到$b$向量。

这里更高级一点的说法是，在以$a_1,a_2$为基向量(3维)所张成的2维子空间上，寻找最接近$b$向量的向量。

把$a_1,a_2$视作基向量，画图理解。

由这个图可知，公式(4)肯定是不成立的，因为向量$b$(红色)就不在基向量$a_1,a_2$所张成的二维平面（二维子空间）里。

所以，我们在这里退而求其次，在该二维子空间中找一个向量$b^{\prime }$（由基向量组成$b^{\prime }=x_1\ast a_1+x_2\ast a_2$），来代替向量$b$，但是这个向量距离$b^{\prime }$到向量$b$的距离最短（如下图所示）

如图所示，$OE=b^{\prime },OD=b$,显而易见，$b^{\prime }$是$b$向此二维平面的正交投影，此时$b^{\prime }$和$b$之间的距离最近，距离差值维$DE$的长度。

而此时$b^{\prime }=x_1\ast a_1+x_2\ast a_2=x_{1}OC+x_{2}OB$，$x_1,x_2$就是我们需要求出的值。

更进一步的理解。当有n组数据带入时，A矩阵的维度将会是n×2.那么这里整个最小二乘拟合问题就可以理解成：$a_1,a_2$是n维线性空间中的两个线性无关的向量，在span{ $a_1,a_2$}所张成的子空间中(2维)找到$b$在其中的正交投影$b^{\prime }$，二者之间的距离即是最小二乘优化的最小值min。$b^{\prime }$在基$a_1,a_2$上的投影，即是要求解的变量值,

如果需要拟合的变量不止2个，假设有m个，那么整个问题就可以理解成是n维向量到m维超平面的正交投影求解。

回到公式（3）中来，对其的求解，有以下方法。
$$\begin{gathered} Ax=b \\ {A}^{T}Ax=A^{T}b \\ x=(A^{T}A{)}^{-1}{A}^{T}b \end{gathered}$$
按照道理来说，此时我们已经解决问题了。但是众所周知，对于高维度的矩阵，计算机进行求逆操作是非常慢的，问题就出在实际应用中，点云地面的拟合，可能是几千上万个点，这样就会导致A矩阵的维度很高，显然直接求逆操作在此时是不可行的。所以，如何快速求解$Ax=b$是下一个要解决的问题，即SVD分解。

2 实际问题1：点云的地面拟合

2.1 解法1.分解协方差矩阵

其算法理论基于论文:Zermas, D., Izzat, I., & Papanikolopoulos, N. (2017). Fast segmentation of 3D point clouds: A paradigm on LiDAR data for autonomous vehicle applications. Proceedings - IEEE International Conference on Robotics and Automation, 5067–5073. https://doi.org/10.1109/ICRA.2017.7989591</