【立体视觉】世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的关系

相机的成像过程涉及到四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系。这篇博客介绍相机的成像过程，以及四个坐标系之间的装换关系。

相机理想成像模型：

世界坐标系：

客观三维世界的绝对坐标系，也称客观坐标系。因为数码相机安放在三维空间中，我们需要世界坐标系这个基准坐标系来描述数码相机的位置，并且用它来描述安放在此三维环境中的其它任何物体的位置，用（X, Y, Z）表示其坐标值。

相机坐标系（光心坐标系）：

以相机的光心为坐标原点，X 轴和Y 轴分别平行于图像坐标系的 X 轴和Y 轴，相机的光轴为Z 轴，用（Xc, Yc, Zc）表示其坐标值。

图像坐标系：

以CCD 图像平面的中心为坐标原点，X轴和Y 轴分别平行于图像平面的两条垂直边，用( x , y )表示其坐标值。图像坐标系是用物理单位（例如毫米）表示像素在图像中的位置。

像素坐标系：

以 CCD 图像平面的左上角顶点为原点，X 轴和Y 轴分别平行于图像坐标系的 X 轴和Y 轴，用(u , v )表示其坐标值。数码相机采集的图像首先是形成标准电信号的形式，然后再通过模数转换变换为数字图像。每幅图像的存储形式是M × N的数组，M 行 N 列的图像中的每一个元素的数值代表的是图像点的灰度。这样的每个元素叫像素，像素坐标系就是以像素为单位的图像坐标系。

已知一个现实世界中的物体点的在世界坐标系中的坐标为（X, Y, Z），经过相机拍摄得到图片，在图片上的像素坐标为(u , v )。假设在图像坐标系中的坐标为( x , y )，在相机坐标系中的坐标为（Xc, Yc, Zc）。各个坐标之间的转化如下：

像素坐标系与图像坐标系的关系

他们之间的转换关系为：

$$u=\frac{x}{dx}+u_{0}$$
$$v=\frac{y}{dy}+v_{0}$$
采用齐次坐标再用矩阵形式将上式表示为：
$$\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}=\begin{bmatrix} \frac{1}{dx}& 0 &u_{0} \\ 0& \frac{1}{dy} &v_{0}\\ 0& 0 & 1 \end{bmatrix}\begin{bmatrix} x\\ y\\ 1 \end{bmatrix} （1）$$
其中（u0, v0）是图像坐标系原点在像素坐标系中的坐标，dx 和 dy分别是每个像素在图像平面x和 y方向上的物理尺寸。

图像坐标系与相机坐标系的关系

$$\frac{x}{f}=\frac{X_{C}}{Z_{C}}$$
$$\frac{y}{f}=\frac{Y_{C}}{Z_{C}}$$
其中 f 为焦距（像平面与相机坐标系原点的距离）。用齐次坐标系和矩阵表示上述关系：
$$Z_{C}\begin{bmatrix} x\\ y\\ 1 \end{bmatrix}=\begin{bmatrix} f & 0& 0& 0\\ 0 & f& 0& 0\\ 0 & 0& 1& 0 \end{bmatrix}\begin{bmatrix} X_{C}\\ Y_{C}\\ Z_{C}\\ 1 \end{bmatrix}（2）$$

相机坐标系与世界坐标系的关系

$$\begin{bmatrix} X_{C}\\ Y_{C}\\ Z_{C}\\ 1 \end{bmatrix}=\begin{bmatrix} R & t\\ 0^{T} & 1 \end{bmatrix}\begin{bmatrix} X\\ Y\\ Z\\ 1 \end{bmatrix}（3）$$
其中 R 为3 × 3正交旋转矩阵，t 为三维平移向量。

像素坐标系与世界坐标系的关系

由式（1）（2）（3）可得：