DynamicFusion之预处理共轭梯度下降（Pre-conditioned Conjugate Gradient Solver）

在看DynamicFusion这篇文章时，同学们有可能会主要到文章运到了一个很让人百思不解的solver叫做Pre-conditioned Conjugate Gradient Solver。在优快云上转了一圈发现，对于conjugate gradient method深入讲解的文章少之又少，所以决定写一篇能让有一定线性代数基础的同学理解得懂的文章。Ok, let’s get started.

迭代优化问题

假设我们有一个线性问题（用$A$，$b$来去求$x$）：
$$Ax=b$$
如果用直接法（direct method）来求得话，我们可以直接得到：
$$x=(A^{T}A{)}^{-1}{A}^{T}b$$
这种方法好但是如果$A$是一个$R^{n\times n}$，$n>10^8$的矩阵的话，对$A^{T}A$直接做Inverse显然是不可取的。于是非直接的迭代优化方式就此诞生。简单来说间接法是用迭代的方式更新$x$来缩小$Ax$和$b$的距离。
$$\delta x=\underset{\delta x}{\mathrm{argmin}}(E(x+\delta x))=\underset{\delta x}{\mathrm{argmin}}(\frac{1}{2}||A(x+\delta x)-b|{|}^2)$$
$$x^{\prime }=x+\delta x$$
不断迭代知道更新后的$x^{\prime }$对距离影响与之前相比不大为止（convergence）。

学视觉或者做神经网的朋友可能都会经常接触到一些常用的迭代优化的算法，如：

1. 梯度下降：$\delta x=\alpha$