针孔相机模型和相机内参矩阵K

上图为针孔相机模型的成像原理图。

设 $O-x-y-z$ 为相机坐标系，$O$ 为相机的光心（同样也是针孔模型中的针孔）。现实世界的空间点 $P$ ，经过光心 $O$ 投影之后，落在了物理成像平面 $O^{\prime }-x^{\prime }-y^{\prime }$ 上，成像点为 $P^{\prime }$ 。

设空间点 $P$ 的坐标为 $[X,Y,Z{]}^T$，$P^{\prime }$ 的坐标为 $[X^{\prime },Y^{\prime },Z^{\prime }{]}^T$，并且设物理成像平面到光心的距离（即焦距）为 $f$ 。那么由三角形相似关系有：

$$\frac{Z}{f}=-\frac{X}{X^{\prime }}=-\frac{Y}{Y^{\prime }}\text{\hspace{1em}(1)}$$

其中负号表示成的像是倒立的。为了简化模型，我们可以把成像平面对称到相机前方，和三维空间点一起放在摄像机坐标系的同一侧（如下图所示）。

简化之后去掉负号，便可以得到：

$$\frac{Z}{f}=\frac{X}{X^{\prime }}=\frac{Y}{Y^{\prime }}\text{\hspace{1em}(2)}$$

整理之后，有：

$$\begin{array}{rl}& X^{\prime }=f\frac{X}{Z}\\ & Y^{\prime }=f\frac{Y}{Z}\end{array}\text{\hspace{1em}(3)}$$

上面公式表示的是空间中的点 $P$ 和它在成像平面对应的点 $P^{\prime }$ 之间的几何关系。当时在相机中，图片是由一个个像素表示的，因此还需要在成像平面上进行采样和量化。下图是成像平面坐标系和像素平面坐标系的图示，两者有以下区别：

• 单位不一样：成像平面坐标系的单位是米，像素坐标系的单位是像素
• 坐标系原点的位置不一样：成像平面坐标系的原点在中心，像素坐标系的原点在左上方

因此，为了将成像平面上的点转换到像素坐标系上，需要进行单位之间转换的缩放和原点的平移。

假设成像平面坐标系为 $O^{\prime }-x^{\prime }-y^{\prime }$ ，像素坐标系为 $o-u-v$。假设成像平面坐标系转换到像素坐标系 $u$ 轴上缩放了 $\alpha$ 倍，转换到像素坐标系 $v$ 轴上缩放了 $\beta$ 倍，原点平移了 ${\left[c_x,c_y\right]}^T$（单位：像素）。那么 $P^{\prime }$ 的坐标与像素坐标 $[u,v{]}^T$ 的关系为：

$$\{\begin{array}{l}u=\alpha X^{\prime }+c_x\\ v=\beta Y^{\prime }+c_y\end{array}\text{\hspace{1em}(4)}$$

将 (3) 式代入 (4) 中，并将 $\alpha f$ 记为 $f_x$，$\beta f$ 记为 $f_y$，可得：

$$\{\begin{array}{l}u=f_x\frac{X}{Z}+c_x\\ v=f_y\frac{Y}{Z}+c_y\end{array}\text{\hspace{1em}(5)}$$

其中，$f$ 的单位是米， $\alpha$ 、 $\beta$ 的单位是像素/米，所以 $f_x$ 和 $f_y$ 的单位为像素。

为了使得公式更加简洁，可以将该式写成矩阵形式，不过左侧需要用到齐次坐标：

$$\left(\begin{array}{l}u\\ v\\ 1\end{array}\right)=\frac{1}{Z}\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)\triangleq \frac{1}{Z}\mathbf{K}\mathbf{P}\text{\hspace{1em}(6)}$$

按照传统习惯，可以将 $Z$ 移到等式左边，则有：

$$Z\left(\begin{array}{l}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{l}X\\ Y\\ Z\end{array}\right)\triangleq \mathbf{K}\mathbf{P}\text{\hspace{1em}(7)}$$

上式中，中间的量组成的矩阵 $\mathbf{K}$ 被称为相机的内参矩阵（Camera Intrinsics）。

参考文献：视觉SLAM十四讲