龙性的腾飞的博客

联合标定是做多传感器融合的基础工作，也是一个没有最好只有更好的研究方向，相关论文也是层出不穷，网上也有许多开源的工作，包括Autoware的工具箱我也试过，感觉标定效果不是特别好，标定效果不稳定，有时候好，有时候不好(也可能当时经验有限，好多点没注意)，后来Matlab2020b推出了激光雷达和相机的联合标定教程，简单试了一下，效果不错，2020b中有个bug,　2021a中已经修复了，并且把demo做成了像相机标定一样的工具箱，后来多次标定也总结了一些标定过程中的经验，简单分享一下．

本篇博客主要解释一下上篇博客中运动补偿的计算部分，简单来说就是一个利用四元数球面线性插值（Slerp）计算每个点的位姿，然后根据坐标变换关系将该位姿下的坐标变换到需要补偿到的某个时间点下坐标．

在Xavier接入多个gmsl相机，采用yuv转rgb，再通过cv_bridge转成ros消息发出来的方式太耗费cpu,同时运行多路相机驱动会造成系统卡顿. Xavier上支持硬件的编解码，使用jtop可以看到硬件资源如下图，之前采用cpu将yuv转rgb后，还需要将采用image_transport（https://wiki.ros.org/image_transport）数据发布出来,在发布原始话题（sensor_msgs/Image）的时候，同时发布压缩图像（sensor_msgs/Compresse

和apollo社区开发约了一个访谈，交流了一下使用问题，提了一些建议

简介：激光雷达帧率一般为10hz, 也就是100ms一帧，在车辆高速行驶或者转弯时，一帧点云中的点并不是同一个坐标系下获得的测量结果，对于同一个目标在三维点云中就会出现畸变，这时要想获得精确的测量，就需要对点云做运动补偿，或者说即便校正，将同一帧点云中所有点统一到某一个时间点下的坐标系中。如果做低速移动平台，可能对即便矫正的需求没有那么高，毕竟效果不明显，还额外增加了耗时，但是对于高速运动的车辆，激光雷达的运动畸变对于感知和定位都有着非常大的影响，是非常基础的一个环节。简单举几个例子：

​之前一直有看过apollo的程序，一般都是参考某个模块直接去看代码，并没有完整的安装跑一下官方的程序，趁假期简单安装熟悉了一下基于cyber的apollo7.0, 准备后面完整的调试一下感知各个模块。我用的笔记本环境：Ubuntu18.04 cuda10.2 nvidia-driver 470.103.01 ，GPU GTX 1650的，只有4个G显存，有点卡，勉强能跑起来, 主要就是参考apollo github和官网的文档, 大部分没什么问题，简单说一下我遇到的需要注意的几个小问题。​

matlab2020 自动驾驶工具箱可以进行多信号源的标注，比如同时标注图像和点云，在需要建立自己的图像点云数据集却没有合适的工具情况下可以一试，不过貌似不太好用。欢迎一块交流。先占个坑写点经验总结。官方教程写的不是特别细，而且感觉工具不是特别好用。载入点云和图像序列后，开始标注点云：1. 先去个地面2. 建立类别label3. 调整标注框 ，matlab提示的是：按住a + 滚轮可以同时调整长宽高，经过尝试发现分别按住x y z+滚轮，可以调整对应轴的框长。4. 待我慢慢发现。

相机在ImagePtr格式转opencv，参考链接：VS 2017 + OpenCV + Spinnaker SDK（PointGrey） 配置 //ImagePtr convertedImage = pResultImage->Convert(PixelFormat_Mono8, HQ_LINEAR);ImagePtr convertedImage = pResultImage-&g...

采用FLIR 相机，基于Spinnaker SDK写的程序在运行一段时间后总是出现延时有时会长达几秒，经过分析发现FLIR 相机默认的是有buffer缓存，默认10帧，且StreamBufferHandlingMode默认为OldestFirst, 这个参数在SpinView设置后，并不能保存，再用程序启动还是默认参数，必须在驱动里面设置MODE： StreamBufferHandlingMode_NewestOnly，设置缓存帧数为1（不能设置为0）。相关说明参考Spinnaker C++ API:

程序来源Autoware包，详细参考Autoware包中的spinnaker相机驱动，源程序获得图像颜色不正确，稍作修改先转成opencv格式再转为ros消息即可，直接上相关程序，另外CMakeLists.txt的配置可以参考Autoware的写法，积累一下。/* * Copyright 2015-2019 Autoware Foundation. All rights reserved. * * Licensed under the Apache License, Version 2.0 (

以Rfans-16为例，简单记录一下自己的学习标定之路。0. 连接相机和激光雷达，激光雷达X轴向前，Y轴向左，Z向上，相机默认正向前方。建立ROS工作空间$ mkdir -p catkin_lidar_camera/src$ catkin_make1. 首先下载相机驱动，可以在github上找usb_cam https://github.com/ros-drivers/usb_cam将usb_cam 包放到src下，同将激光雷达的包放到src下。2. 在catkin_lidar_came