Airsim雷达相机融合生成彩色点云

代码，cmake，launch等都在网盘链接中

链接: https://pan.baidu.com/s/14hWBDnRZC41xkqAk6FirtA 提取码: 1een
--来自百度网盘超级会员v4的分享

1、简介

3D激光雷达和相机的融合指的是将激光雷达获得的3D点，投影到相机图像上，从而给图像每个像素点添加深度信息或者为雷达获取到的3D点添加RGB信息。效果如图：

可以知道，要将3D点投影到图像需要知道相机和雷达的坐标系的变换矩阵以及相机的内参

2、雷达相机融合理论介绍

理论简单来说就算一句话：通过雷达相机的变换矩阵将雷达系/世界坐标系的3D点投影到相机

2.1、Airsim中各个矩阵获取

外参

外参包括旋转和平移，将世界/雷达坐标系下的3D点转换到相机坐标系下

此处主要参考

AirSim相机、IMU内外参分析(VIO、vSLAM)_智能之欣的博客-优快云博客_airsim 相机

 该旋转矩阵是相机到世界坐标系的，我们要的是世界坐标系到相机坐标系的。所有应该求该矩阵的转置，如下：

 平移矩阵可以根据settings中相机处的x,y,z给出

内参

仍参考上文博客

 其中width，heigth，fov都可以在settings中进行设置

雷达系/世界系

点云返回是雷达系还是世界系可以通过在settings中雷达参数进行设置

本文中用的是雷达系，但是不知道雷达与世界坐标系的关系，经过尝试雷达系与世界坐标系各个坐标轴朝向应该算一致的，仅