数字图像处理 --- 相机的内参与外参（CV学习笔记）

Pinhole Camera Model（针孔相机模型）

        针孔相机是一种没有镜头、只有一个小光圈的简单相机。 光线穿过光圈并在相机的另一侧呈现倒立的图像。为了建模方便，我们可以把物理成像平面(image plane)上的图像移到实际场景(3D object)和焦点(focal point)之间，把他想象成一个和物理成像平面等大小的虚拟图像平面(Virtual image plane)，这样一来就不再是倒立的图像，而是直立图像。

 

        有了相机后，上图中的蓝色盒子就变成了相机，上图中的物理成像平面Image plane也被数字化到由一个个pixel组成的sensor上，并保存下来。因此，对于相机而言，上图中的焦点就是相机的镜头，而上图中的物理成像平面，需要被转换成像素平面(pixel plane)，物理成像平面(image plane)与像素平面(pixel plane)大小相同，计量单位不同。物理成像平面的单位是一个物理单位，例如mm,，而像素平面实际上就是一个二维图像，他的单位实际上是某某pixel在图像中的第几行第几列。

为了后续的描述方便我们这里先定义四个坐标系：

1，二维像平面(焦平面)坐标系Image plane，原点为，坐标轴用，表示。

2，二维图像坐标系pixel plane，原点为，坐标轴用，表示。

3，三维相机坐标系pinhole plane/camera，原点为，坐标轴用，，表示。

4，三维世界坐标系world，原点为，坐标轴用，，表示。

        将3D世界场景映射成2D图像(像素平面pixel plane)总共分两步，第一步是把定义在世界坐标系中的实际3D物体映射到3D相机极坐标系中。相当于是把实际世界中的物体分别通过两个不同的坐标系来表示，然后通过找到这两个不同坐标系之间的差异，建立这两个坐标系之间的联系。这一转换关系就是下图中到的转换。

        从3D世界坐标系(world coordinates)到3D相机坐标系(camera coordinates)，需要用到外参(extrinsic parameters)或外参矩阵(extrinsic matrix)--->[R t]。

        其次，从3D相机坐标系(camera coordinates)到2D像素坐标系(pixel plane)需要用到内参(intrinsic parameters)或内参矩阵(intrinsic matrix)--->K。同样是把成像后的图像，用两个不同的坐标系来表示，然后再建立这两个坐标系(物理成像坐标系与二维图像坐标系)之间的联系，使两者可以相互转换。

---

extrinsic parameters外参：世界坐标系到相机坐标系的转换

        对于世界坐标系中的某一点大M而言，他本身是存在了，并不会因为我们有没有建立坐标系而受影响。但当我们人为的建立坐标系以后，这个点在我们所定义的坐标系下就有坐标值了。首先，对于点M而言，他在世界坐标系下可表示为M=[]，而在相机坐标系中M=[]，这是同一个点，只不过在不同的坐标系所对应的坐标值不同。(其中：中的上角标“M”表示点M,下角标"w"表示世界坐标系worl，以此类推，关于下角标的定义可参照我上面定义的四个坐标系。)

         相机坐标系相对于世界坐标系而言，我们不能保证两个坐标系的原点完全重合，因此，对于x-y-z都存在一定的位移，由一个3x1矩阵t(translation)表示，其中每个元素分别对应了x-y-z方向上的位移:

此外，我们也不能保证相机在拍照时没有任何角度的偏差，因此，这两个坐标系的坐标轴存在一个整体的旋转。由一个3x3矩阵R(rotation)表示：

二者合并得到增广矩阵[R|t]，使得:

 

其中：