如何将LiDAR坐标系下的3D点投影到相机2D图像上

将激光雷达点云投影到相机图像上做数据层的前融合，或者把激光雷达坐标系下标注的物体点云的3d bbox投影到相机图像上画出来，都需要做点云3D点坐标到图像像素坐标的转换计算，也就是LiDAR 3D坐标转像素坐标。

看了网上一些文章都存在有错误或者把公式推导说的含混不清有误导人的地方(如果你完全按那些列出来的公式去计算，发现投影结果在图像上怎么都不对！)，在此结合我经过验证是正确的代码详细解释一下，也供备忘，插图是对网上的原图做了正确修改的。

对于普通无畸变平面相机，坐标转换涉及到的主要是两个参数矩阵：用于激光雷达坐标系到相机坐标系转换的外参矩阵和用于相机坐标系到像素坐标系转换的相机本身的内参矩阵。

针孔相机模型下，相机坐标系下的三维空间中点P(X,Y,Z)，对应在相机成像平面的图像坐标系(注意不是像素坐标系!)中的坐标点是p(x,y)，焦距f是焦点到成像平面之间的距离，Z是P点到焦点的距离。

 根据相似三角形原理，有：

 由此可得，根据相机坐标系下的坐标(X,Y,Z)计算相机图像坐标系下的坐标(x,y)的计算公式：

注意，此处的x、y、f都是实际空间尺寸，单位一般是mm，如果将等式两边都除以图像每像素对应的实际尺寸，等式