激光点云投影到图像---实时ros显示

    <link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-b5506197d8.css">
            <div id="content_views" class="htmledit_views">
                <p>彩色点云是对激光雷达点云的每个点赋予其对应的相机图像RGB值的一种新型的点云数据,能够为三维目标检测提供更丰富的图像信息。</p> 

单相机与激光雷达进行融合的过程包括:相机-雷达联合标定、雷达->相机点云坐标变换、成像平面->图像坐标投影找到点云对应的像素、点云RGB赋值,以及由相机坐标变换回雷达坐标,由此形成最终的彩色点云,如下如所示。

相机-雷达联合标定的方法众多,autoware等很多包里都提供了现成的方法,计算的是图中1的4×4坐标变换矩阵R|T,3×3的旋转矩阵R是:

加上3×1的平移向量就构成了坐标变换矩阵:

利用pcl库和opencv库函数可以完成上述所有变换,博主利用ROS实现了接收雷达与相机话题,并实时生成彩色点云显示的ROS包,Github Link:https://github.com/KevinJia1212/colored_pointcloud

启动相机雷达以及彩色点云节点后,可以在rviz中看到点云投影到图像,以及彩色点云在空间中的分布。

结合多传感设备以实现高级的感知能力是自动驾驶汽车导航的关键要求。传感器融合用于获取有关周围环境的丰富信息。摄像头和激光雷达传感器的融合可获取精确的范围信息,该信息可以投影到可视图像数据上。这样可以对场景有一个高层次的认识,可以用来启用基于上下文的算法,例如避免碰撞更好的导航。组合这些传感器时的主要挑战是将数据对齐到一个公共域中。由于照相机的内部校准中的误差,照相机与激光雷达之间的外部校准以及平台运动导致的误差,因此这可能很困难。在本文中,我们研究了为激光雷达传感器提供运动校正所需的算法。由于不可能完全消除由于激光雷达的测量值投影到同一里程计框架中而导致的误差,因此,在融合两个不同的传感器时,必须考虑该投影的不确定性。这项工作提出了一个新的框架,用于预测投影到移动平台图像帧(2D)中的激光雷达测量值(3D)的不确定性。所提出的方法将运动校正的不确定性与外部和内部校准中的误差所导致的不确定性相融合。通过合并投影误差的主要成分,可以更好地表示估计过程的不确定性。我们的运动校正算法和提出的扩展不确定性模型的实验结果通过在电动汽车上收集的真实数据进行了演示,该电动汽车配备了可覆盖180度视野的广角摄像头和16线扫描激光雷达。
评论 17
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值