BA的定义
通常称把相机和三维点放在一起进行最小化的问题为Bundle Adjustment。
重投影误差关于相机位姿李代数的一阶变化关系
∂e∂δξ=limδξ→0e(δξ⨁ξ)−e(ξ)δξ=∂e∂P′∂P′∂δξ=−[fxZ′0−fxX′Z′2−fxX′Y′Z′2fx+fxX′2Z′2−fxY′Z′0fyZ′−fyY′Z′2−fy−fyY′2Z′2fyX′Y′Z′2fyX′Z′]\frac{\partial e}{\partial \delta \xi}=\lim_{\delta\xi\to0}\frac{e(\delta\xi\bigoplus\xi)-e(\xi)}{\delta\xi}=\frac{\partial e}{\partial P'}\frac{\partial P'}{\partial \delta\xi}=-\begin{bmatrix}\frac{f_x}{Z'}&0&-\frac{f_xX'}{Z'^2}&-\frac{f_xX'Y'}{Z'^2}&f_x+\frac{f_xX'^2}{Z'^2}&-\frac{f_xY'}{Z'}\\\\0&\frac{f_y}{Z'}&-\frac{f_yY'}{Z'^2}&-f_y-\frac{f_yY'^2}{Z'^2}&\frac{f_yX'Y'}{Z'^2}&\frac{f_yX'}{Z'}\end{bmatrix}∂δξ∂e=δξ→0limδξe(δξ⨁ξ)−e(ξ)=∂P′∂e∂δξ∂P′=−⎣⎢⎡Z′fx00Z′fy−Z′2fxX′−Z′2fyY′−Z′2fxX′Y′−fy−Z′2fyY′2fx+Z′2fxX′2Z′2fyX′Y′−Z′fxY′Z′fyX′⎦⎥⎤
这里保留了前面的负号,因为误差是由观测值减预测值定义的。也可以反过来,将其定义成“预测值减观测值”的形式,只需要去掉前面的负号即可。此外,如果se(3)se(3)se(3)的定义方式是旋转在前,平移在后,则只要把这个矩阵的前333列与后333列对调即可。
重投影误差关于空间点P的导数
∂e∂P=∂e∂P′∂P′∂P=−[fxZ′0−fxX′Z′20fyZ′−fyY′Z′2]R\frac{\partial e}{\partial P}=\frac{\partial e}{\partial P'}\frac{\partial P'}{\partial P}=-\begin{bmatrix}\frac{f_x}{Z'}&0&-\frac{f_xX'}{Z'^2}\\\\0&\frac{f_y}{Z'}&-\frac{f_yY'}{Z'^2}\end{bmatrix}R∂P∂e=∂P′∂e∂P∂P′=−⎣⎢⎡Z′fx00Z′fy−Z′2fxX′−Z′2fyY′⎦⎥⎤R