相机标定原理

相机标定原理

参考

右手法则

在三维坐标系中，Z轴的正轴方向是根据右手定则确定的。右手定则也决定三维空间中任一坐标轴的正旋

转方向。要标注X、Y和Z轴的正轴方向，就将右手背对着屏幕放置，拇指即指向X轴的正方向。伸出食指和中指，如右图所示，食指指向Y轴的正方向，中指所指示的方向即是Z轴的正方向。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e7qSPwRP-1602147563468)(/home/zhongsy/.config/Typora/typora-user-images/image-20200929092920172.png)]

相机的成像模型

最简单的就是小孔成像

设 O − x − y − z 为相机坐标系，O是光心，现实世界的空间点 P ,经过小孔 O 投影之后,落在物理成像平面 O ′ − x ′ − y ′ 上,成像点为 P ′ 。设 P 的坐标为 [X, Y, Z] T ,P ′ 为 [X ′ , Y ′ , Z ′ ] T ,并且设物理成像平面到小孔的距离为 f (焦距)。那么,根据三角形相似关系,有:

​ $$\frac{Z}{f}=-\frac{X}{X^{\prime }}=-\frac{Y}{Y^{\prime }}$$

其中负号表示成的像是倒立的。为了简化模型,我们把可以成像平面对称到相机前方,和三维空间点一起放在摄像机坐标系的同一侧,如图中间的样子所示。这样做可以把公式中的负号去掉,使式子更加简洁:
$$\frac{Z}{f}=-\frac{X}{X^{\prime }}=-\frac{Y}{Y^{\prime }}$$

$$\begin{gathered} X^{\prime }=f\frac{X}{Z} \\ {Y}^{\prime }=f\frac{Y}{Z} \end{gathered}$$

该式中,我们把中间的量组成的矩阵称为相机的内参数矩阵(Camera Intrinsics)K。通常认为,相机的内参在出厂之后是固定的,不会在使用过程中发生变化。有的相机生产厂商会告诉你相机的内参,而有时需要你自己确定相机的内参,也就是所谓的标定。鉴于标定算法业已成熟,且网络上能找到大量的标定教学,我们在此就不介绍了。所以内参的作用其实就是把三维世界物体在相机平面下的坐标相互转换成像素平面下的坐标

内参外参的区别与联系

先有个大致的印象，从世界坐标转到相机坐标再转到成像平面的坐标最后转到像素坐标

为什么成像平面在相机前面，为了简化模型,我们把可以成像平面对称到相机前方,和三维空间点一起放在摄像机坐标系的同一侧,这样有利于公式的表达，

大多数相机输出的图像并不是倒像——相机自身的软件会帮你翻转这张图像,所以你看到的一般是正着的像,也就是对称的成像平面上的像。所以,尽管从物理原理来说,小孔成像应该是倒像,但由于我们对图像作了预处理,所以理解成在对称平面上的像,并不会带来什么坏处。在不加声明的情况下，其实一般称成像在前面的叫针孔模型。

外参

外参的作用其实就是把世界坐标系转到相机坐标系，其实就是一个旋转加平移也就是刚体变换，体变换只改变物体的空间位置(平移)和朝向(旋转)，而不改变其形状的变换（一种记忆方法，硬的东西：比如石头，你不能改变他的形状，只能把它旋转或者平移），可用两个变量来描述：正交单位旋转矩阵R（Rotation），三维平移矢量T（Translation）

所以从世界坐标转移到相机坐标就差一个R与T

相机运动是一个刚体运动,它保证了同一个向量在各个坐标系下的长度和夹角都不会发生变化。这种变换称为欧氏变换。想象你把手机抛到空中,在它落地摔碎之前,只可能有空间位置和姿态的不同,而它自己的长度、各个面的角度等性质不会有任何变化

==旋转矩阵可以描述相机的旋转。==由于旋转矩阵为正交阵,它的逆(即转置)描述了一个相反的旋转。按照上面的定义方式,有:

显然 $R^T$ 刻画了一个相反的旋转

外参代表机器人轨迹

因为相机固定在机器人上，机器人的运动其实就是外参的改变，但只要相机与机器人之间没有发生变换，那么他们两个之间的RT是不会发生改变的

当世界坐标与相机坐标平行的时候，就只有一个平移可以表示为

在这里，我们可以轻松的由三角形的相似原理可以得到如下的公式：

同样，可以用矩阵的形式来表示：

图像坐标系到像素坐标系

像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点，通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm，属于物理单位，而像素坐标系的单位是pixel，我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下：其中dx和dy表示每一列和每一行分别代表多少mm，即1pixel=dx mm

realsenseD435的深度图是对齐的左眼的