Camera calibration

一、因为最近一段时间都用到camera calibration相关的东西，但是只是用caltech camera calibration toolbox，对于camera intrinsic parameters和camera extrinsic parameters没有比较清楚的认识，所以，就想把这个东西搞清楚。

二、数码相机模型参数：

透视变换（perceptive transformation):

$$K = \begin{bmatrix} \alpha_x & \gamma & u_0 \\ 0 & \alpha_y & v_0 \\ 0 & 0 & 1\end{bmatrix}$$
径向畸变，切向畸变（distortion coefficient）: $k_1,k_2,p_1,p_2$

以上为数码相机的内部参数（intrinsic coefficient）。其中，$\alpha_x$和$\alpha_y$分别为u轴和v轴的尺度因子，或者称为有效焦距，即$\alpha_x = f/\Delta_x$,$\alpha_y = f/\Delta_y$, ($\Delta_x$,$\Delta_y$分别为水平上相和竖直方向的相元间距，$f$为焦距）;$u_0$和$v_0$为光学中心，即图像上的中心位置，又叫principle point; $\gamma$为u轴和v轴的不垂直因子，多数情况下，令$\gamma = 0$。

外部参数（extrinsic coefficient）:

$$R = \begin{bmatrix} r_1 & r_2 & r_3 \\ r_4 & r_5 & r_6 \\r_7 & r_8 & r_9\end{bmatrix} ~~~~~~~T = \begin{bmatrix} t_x \\ t_y \\t_z\end{bmatrix}$$
其中，为旋转矩阵（Rotation Matrix）, 为平移矩阵（Translation Matrix）。

三、各个坐标系之间的相互转换

1）世界坐标系到相机坐标系

$$\begin{bmatrix} X_c \\ Y_c \\ Z_c \\ 1\end{bmatrix} = \begin{bmatrix} \mathbb{R} & \mathbb{t} \\ \mathbb{0} & \mathbb{1} \end{bmatrix}\begin{bmatrix} X_w \\ Y_w \\ Z_w \\ 1\end{bmatrix}$$
其中，$[X_w, Y_w, Z_w]$表示点p在世界坐标系下的坐标，$[X_c, Y_c, Z_c]$ 表示点p在相机坐标系中的坐标。

2）相机坐标系到图像坐标系

$$Z_c \begin{bmatrix} x \\ y \\ 1\end{bmatrix} = \begin{bmatrix} f & 0 & 0& 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix}\begin{bmatrix} X_c \\ Y_c\\ Z_c\\ 1\end{bmatrix}$$
其中，$f$为焦距，(x,y)为对应图像坐标系中p点的坐标

3）图像坐标系到像素坐标系

$$\begin{bmatrix} u \\ v \\ 1\end{bmatrix} = \begin{bmatrix} 1/d_x & 0 & u_0 \\ 0 & 1/d_y & v_0 \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} x \\ y \\ 1\end{bmatrix}$$
其中，($u_0, v_0$)为图像坐标系原点在像素坐标系中的坐标，($d_x,d_y$)分别为像素坐标系在X和Y方向上相邻像素间的距离。

世界坐标系到图像坐标系也可以根据上面三个公式得出：

$$Z_c \begin{bmatrix} u \\ v \\ 1\end{bmatrix} = \begin{bmatrix} f/d_x & 0 & u_0 \\ 0 & f/d_y & v_0 \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} \mathbb{R} & \mathbb{t} \\ \mathbb{0} & \mathbb{1} \end{bmatrix}\begin{bmatrix} X_w \\ Y_w \\ Z_w \\ 1\end{bmatrix}$$