4、从稀疏刚性运动恢复结构到稀疏非刚性运动恢复结构

从稀疏刚性运动恢复结构到稀疏非刚性运动恢复结构

1. 非线性最小二乘相关概念

在非线性最小二乘问题中，由于每个残差仅依赖于参数向量 (x) 中的少数参数，其具有高度稀疏性。因此，它既不存储也不直接计算雅可比矩阵 (J(x)) 及其乘积 (J(x)^TJ(x))。非线性共轭梯度（CG）也可直接用于求解非线性优化问题，但在这种情况下，其收敛速度仅为线性（并且 CG 类似于带有动量的梯度下降法）。

此外，还可以在非线性最小二乘中使用 Huber 损失，其定义为：
[
\left\lVert a^2 \right\rVert_{\varepsilon} =
\begin{cases}
\frac{1}{2}a^2, & \text{for } |a| \leq \varepsilon \
\varepsilon(|a| - \frac{1}{2}\varepsilon), & \text{otherwise}
\end{cases}
]
其中 (\varepsilon) 是一个非负标量阈值。Huber 损失能够减少大异常值的影响，即当残差超过 (\varepsilon) 时，值不再进行平方操作。这样，优化过程对输入数据中的异常值和噪声具有更强的鲁棒性。

2. 矩阵分解相关内容

2.1 矩阵的特征值分解

对于一个 (D) 维的可对角化方阵 (A)，存在如下形式的分解：
[A = Q\Lambda Q^{-1}]
其中 (Q) 是方阵，(\Lambda) 是对角矩阵。并且，(Q) 的列向量 (q_i) 和 (\Lambda) 的非