激光雷达和相机联合半自动标定

1. 背景描述

最近的一次项目上，需要使用到激光雷达+相机组合，那么就出现了一个绕不开的话题：传感器标定。传统的标定方法是通过人工调节相机的外参（yaw，pitch和raw）来实现点云在图像上位置校准，这种方法能行，但效率和精度都不高。
本文提出一种新方法进行验证：基于棋盘格描点完成自动标定。

---

2. 整体架构

如下图所示：

• 数据接收：接收相机和雷达数据
• 内参标定：拍摄一定包含不同角度标定板的图像，进行自动内参生成
• 点云投影到图像：将3D点云通过坐标系转换后投影到2D图像上，方便查看雷达中的标定板和图像上的标定板融合效果
• 标定板描点：在标定板上预选择N个点，计算标定板的质心
• 自动标定：结合点云投影到图像上的标定板的质心和图像上已经选择的N个点的质心进行自动标定
• 外参保存：将内参和外参融合在一起存储到磁盘

---

3. 核心理论

3.1 相机内外参

相机将三维世界中的坐标点（单位为米）映射到二维图像平面（单位为像素）的过程能够用一个几何模型进行描述。这个模型有很多种，其中最简单的称为 针孔模型。

• O-x-y-z 相机坐标系
  • z 指向相机前方、x 轴向右、y 轴向下（右手系）
  • O 是光心
• 空间点 P，经过小孔 O 投影到 P’
• 设物理成像平面到小孔的距离为 f（焦距）
• 根据相似三角形
  $$\frac{Z}{f}=-\frac{X}{X^{\prime }}=-\frac{Y}{Y^{\prime }}$$
  负号表示成像是倒立的。由于可以将成像面平面对称地放到相机前方，和三维空间点在坐标系地同一侧。这样可以把负号去掉：
  
  $$\frac{Z}{f}=\frac{X}{X^{\prime }}=\frac{Y}{Y^{\prime }}$$
  整理得到，
  $$\begin{array}{r}{X}^{\prime }=f\frac{X}{Z}\\ Y^{\prime }=f\frac{Y}{Z}\end{array}$$
  这里描述的是空间关系，单位是米。但是我们最终需要获得一个个像素，还需要在平面上对成像进行采样和量化。换言之，我们需要将它再变换到像素坐标系。
  像素坐标系 通常的定义方式是：原点 $o^{\prime }$ 位于图像的左上角，u 轴向右与 x 轴平行，v 轴向下与 y 轴平行。
  像素坐标系和成像平面之间，相差了一个缩放和一个原点的平移。
  设像素坐标在 u 轴上缩放了 $\alpha$，在 v 轴缩放了一个 $\beta$ 倍。同时，原点平移了 $[c_x,c_y{]}^T$。
  那么，$P^{\prime }$ 的坐标与像素坐标 $[u,v{]}^T$ 的关系为：
  $$\begin{array}{rl}u& =\alpha X^{\prime }+c_x\\ v& =\beta Y^{\prime }+c_y\end{array}$$
  将 $\alpha f$ 合并为 $f_x$，将 $\beta f$ 合并为 $f_y$，得到：
  u = f x X Z + c x v = f y Y Z + c y \begin{align*} u&=f_x \frac{X}{Z} + c_x \\ v&=f_y \frac{Y}{Z} + c_y \end{align*}