TIM_READ2

Robust Camera Calibration by Optimal Localization of Spatial Control Points

文章提出了一种新的定位最优控制点的方法。他可以使用没有对焦清晰的图像，而且可以免去高精度检测控制点的需要。

In our work, we formulate the accurate determination of control points’ localization as an optimization process. This optimization process takes determined control points’ uncertainty area as input. A global searching algorithm combined with Levenberg–Marquardt optimization algorithm is introduced for searching the optimal control points and refining camera parameters.

文章吧控制点的确定过程形式化的转化为一个优化的过程，这个优化过程把控制点所在的大致区域作为输入，一个全局的最搜索优化算法（LM）被使用来搜索最优的精致来调整相机参数。

失焦的原因：
- 没有自动聚焦devices。这个时候自动聚焦的工作is vert tedious.
-在孔径较大的时候，景深很小。
在失焦的图像中传统的控制点检测方法无效。

To handle the problem of how to accurate determine the localization of control points under a certain degree of defocus blurring, perspective distortion, and lens distortion, we propose a novel generic localization optimization method of 2-D control points for camera’s parameters estimation. In this method, we first determine the points’ uncertainty area (PUA) map for potential optimal 2-D control points which by considering localization bias stem from out-of-focus blurring, distortion bias from perspective transformation, and lens distortion. Then, an optimal 2-D control points searching algorithm together with Levenberg–Marquardt (L–M) optimization algorithm are developed to accurately obtain the optimal 2-D control points meanwhile refining the parameters of a general pinhole model camera.
我解决问题如何在一定比例的失焦模糊，透视失真，镜头畸变下精确的定位控制点，文章提出了一种可泛化的定位优化方法，对于相机的2D控制点的估计。在这个方法中，我们首先确定点的大致区域（PUA），然后使用一种LM的优化算法来获取2D最优控制点，同时调整相机模型的参数。

失焦模糊偏差映射估计

我们在每个控制的位置估计失焦模糊半径，给定一个具有一定失焦的标定板，光线经过标定反射进入镜头无法汇聚到一点。他们分布在一定的区域内，所谓的COC（circle of confusion），COC的直径为

$$c=\frac{|d-d_f|}{d}\frac{f_0}{D(d_f-f_0)}$$
$f_0$和$D$分别为焦距和数值孔径。$d$和$d_f$为distance from the object plane to the lens plane and the focal plane to lens plane in a fixed lens system。失焦的作用可用一个点扩散函数和理想清晰图像的卷积来描述。理想点的针孔模型假设景深为无穷大。点扩散函数一般建模为2D圆形高斯形式。
$$G(x,y,\sigma)=\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{x^2+y^2}{2\sigma^2}\right)$$
离焦图像的灰度为
$$i_b(x,y)=aI_u(x,y)*G(x,y)$$

It is worthy noticing that the inaccurate target is one of the main reasons for calibration precision degenerate

当LCD关闭的时候

$$I_0(x)=(A+n(x))*G(x,\sigma_x)$$
图像有一个未知的偏置$A$，噪声$n(x)$。当LCD打开显示一个白屏，捕获的图像偏置增加$B$。
$$I_1(x)=(A+B+n(x))*G(x,\sigma_x)$$ 。当LCD打开显示一个棋盘格，捕获的图像偏置增加$B$。
$$I_b(x)=(A+I_u(x)+n(x))*G(x,\sigma_x)$$
去掉噪声的影响，模糊的图像可以表示为
$$I_bn(x)=\frac{I_b(x)-I_0(x)}{I_1(x)-I_0(x)}*G(x,\sigma_x)=\frac{I_u(x)}{B}*G(x,\sigma_x)$$ 使用高斯滤波，并求取梯度
$$\nabla I'_{nb}(x)=\nabla\left(I_{nb}(x)*G(x,\sigma_0)\right)==\frac{\nabla I_u(x)}{B}*G \left(x,\sqrt{\sigma_x^2+\sigma_0^2}\right)$$
在聚焦清晰的图像中棋盘格的边缘作为阶跃函数，再模糊和初始模糊梯度图像的比值可以表示为
$$\left | \frac{\nabla I'_{nb}(x)}{\nabla I_{nb}(x)} \right|_{x=0}=\sqrt{\frac{\sigma_x^2}{\sigma_x^2+\sigma^2_0}}$$ ，Assuming the magnitude along with x-axis is denoted by 1/Rx.
$$\frac{1}{R_x}=\sqrt{\frac{\sigma_x^2}{\sigma_x^2+\sigma^2_0}}$$ 这样可以估计模糊半径可以估计出来。
$$\sigma_x=\frac{1}{\sqrt{R_x^1-1}}\sigma_0$$ ，由此可知估计所得半径与LCD显示偏置亮度$A$和$B$无关。对于2D的情况类似
$$\nabla_{nb}'(x,y)=\sqrt{\nabla^2 I_{nb}(x)+\nabla^2 I_{nb}(y)}*G(x,y,\sigma_0)$$
在实验中，红合成条纹图像。

the control PUA is defined as a circle-like area that takes the initial refined control point through perspective distortion and lens distortion adjustment
as the circle center and the perspective distortion and lens distortion radius (γ ),

$$\bar{D}_{i,j,1} =(i, \gamma_i )|i ∈ N_j$$
where $N_j$ is the $j$ th input image for calibration, $D_{i j,1}$is one of the control PUA for perspective distortion bias and lens distortion bias. $i$ is the index number of control point in each input image.
$$\bar{D}_{i,j,2} =(i, \delta )|i ∈ N_j$$
$\bar{D}_{i,j,2}$the control PUA for defocus blurring radius.
$$PUA=\{m_{i,j}|m_{i,j}\in \bar{D}_{ij},\bar{D}_{ij}=\bar{D}_{ij,1}\cup\bar{D}_{ij,2}\}$$

Localization Optimization of 2-D Control Points for Camera’s Parameters Further Refinement

这样给定PUA，它包含了靶标的控制点，控制点最优定位点可以使用2D搜索方法获得，使用LM来更新或者调整相机的参数。具体是最小化损失函数。给定n个输入图像，每个图像包含m个控制点，损失函数定义为

$$F(m_{i,j})=\sum_{i=1}^n\sum_{j=1}^n\left\|m_{i,j}-\hat{m}(A,K,R_i,T_i,M_{ij})\right\|^2,\quad s.t. \quad \begin{cases}m_{i,j}\in PUA\\\|M_{i,j}-M_{i+1,j}\|-D<\varepsilon\end{cases}$$
where $m_{i, j }$is the observed control point on the image plane. $M_{i, j}$ is the corresponding point of the observed control point on target plane in 3-D space. $\bar{m} (A, K, R_i , T_i , M_{i, j})$ is the reprojection point of 3-D position point $M_{i, j}$ on image plane.

评价

在图像坐标系中判定控制点是否精确十分困难，越精确的控制点得到的误差越小:一种方式均方重建误差$E_1$，他通过计算2D控制点和重投影点的欧式距离。
另外一个评价标准是相邻控制点的距离导数，相机被标定之后，使用3D投影点$M_{c,i}$=(X_{d,i},Y_{d,i},Z_{d,i},)，直接计算3D空间中点的距离：

$$E_{2x}=\frac{1}{N_1*(N_2+1)}\sum_{i=1}^{N_1}\times\sum_{j=1}^{N_2+1}\sqrt{\left(\|\bar{M}_{c,i,j}-\bar{M}_{c,i+1,j}\|-D_1\right)^2}$$
$$E_{2y}=\frac{1}{N_2*(N_1+1)}\sum_{i=1}^{N_1+1}\times\sum_{j=1}^{N_2}\sqrt{\left(\|\bar{M}_{c,i,j}-\bar{M}_{c,i,j+1}\|-D_2\right)^2}$$

实验结果

一个事实是如果图像越模糊，标定结果的精度会越差。使用高斯核with不同的标准差去平滑out-of-focus的图像，然后如输入到所提出的算法中，当图像越来模糊的时候，焦距和主点增大。