多传感器联合标定一百问！优化方法及实战技巧（激光雷达-相机等）

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

多传感器标定是许多领域应用的基础，直接决定下游应用的性能和上限，自动驾驶之心为大家整理了激光雷达-相机-毫米波雷达-IMU标定相关常见问题与答案，希望能够帮助到大家，先预定100问，我们后面将持续保持更新，冲，冲，冲！！！

所有内容出自--国内首门多传感器标定课程：Lidar+Radar+Camera+IMU离线/在线近20+标定方案，欢迎扫码学习！

1）激光雷达-相机标定

问题1：有多个相机和多个激光雷达，产线中使用标定板一般怎么进行标定啊？

● 产线可以用带圆洞的标定板进行LiDAR-Camera的标定。

问题2：对激光雷达和相机，基于棋盘格的法向量标进行联合标定，发现参数不对，特别是平移参数，请问下是什么原因？

● 基于尝试优化的时候把位移限制一下，约束在你的测量值附近，就是位移 |x - &|<#，&是你的测量值， # 是你的测量的误差。

问题3：激光雷达和相机联合标定，标定完验证发现只有检测物体在一定角度和一定距离时，点云和图像才能投射到一起，在图像四周和比较靠近相机的位置，点云投射效果就变得很差，这是什么原因呢？我现在是给大卡车上的相机和激光雷达做联合标定，2个设备的距离有1米以上

● 这估计是位移标定的有误差，在远的地方看不出来，近距离的话，位移误差就容易提现出来了

问题4：openCalib中自动联合标定激光雷达和相机，提取图像特征对图像有什么要求吗？包括背景复杂度，特定颜色需求，openCalib中仅说明了提取线特征，用官方给的示例图片提取特征较好，但是我用自己的图片提取特征效果就很差

● 试试升级版的代码，这个通用性非常强，https://github.com/OpenCalib/CalibAnything 用这个来标定你的场景试试

问题5：我看到opencalib代码里面的lidar2camera项目 输入需要的数据为pcd，jpg，内参和外参，这个初始外参是怎么获取的啊？

● 通过其他方式，比如理论安装位姿，可以再看看预习资料。

问题6：想问一下，lidar2cam标定用pnp算法，对于3d-2d采样点分布是不是有要求，我只用离车近的8个点去计算，得到结果是近处投影效果很好，远处就不行了，是不是近处和远处都要采集对应点？

● 是的，远近最好都要有，否则容易求出局部解。

问题7：第二章最后一节，激光雷达&相机内外参联合标定，标定得出的激光雷达外参，是指雷达坐标系相对于相机坐标系的外参吗？这个联合标定有没有代码学习一下？opencalib上我没找到。

● 可以看看lidar2camera下面的jointcalib

问题8： 老师你好，我想看一下平移约束怎么写的，想问一下代码里是否加了这个约束？看了下代码没有定位到地方。

● 因为考虑到完整性现有的代码是没有加这个约束，但是一般的量产往往都会加上这个约束。这个代码写法很简单，例如，x的设计值是0.7，安装误差为0.1。那么x的值应该为0.6~0.8之间，然后参考这个链接加在优化函数中即可

2）毫米波雷达-相机标定

问题1：标定间其实只用来标定雷达和相机传感器之间的位置，传感器和baselink用另外的方法标？

● 雷达到标定间，相机到标定间，组合得到雷达到相机，车在哪无所谓；自车中心自己定义的，怎么标定根据定义走。

问题2：请问相机和雷达到车身的相对位姿一般用什么方法标定呢？

● 这个标定课程里面也会讲到的哈，产线一般标定的都是到车身，在线标定可以用
https://github.com/PJLab-ADG/SensorsCalibration/tree/master/SensorX2car

问题3：量产车一般对相机 - 雷达的标定精度要求是多少啊，比如旋转角差0.5°还是多少？

● 量产中，一般是根据感知的容忍误差来定的。例如，有的标定算法标定了多辆车，而感知没有出问题，那么就认为现有的标定算法符合要求。现实中标定精度往往很难进行定量评估，因为没有办法获得真值，一般认为标定算法出来的结果就是真值

问题4：请问各位老师，相机和雷达外参标定后，除了主观看对齐效果，有什么客观数据可以说明效果吗

● 关键点做correspondence estimation，然后看误差，通过相对应点的重投影误差来评估标定的好坏；另外一种是通过模型来判断，其实就是一个二分类问题。用对齐的数据和没对齐的数据放到模型里面去训练

问题5：单线激光雷达有什么好的标定方法？联合标定，和相机还是雷达？

● 单线激光雷达只有一个线束，圆洞肯定提取不出来。建议用二维码或者其他标定板，提取雷达直线然后和相机提取角点进行求解。例如，可以求出物理坐标系下，雷达直线和标定板的关系，然后在通过内参，以及标定板到相机的外参求解。

问题6： 老师请问一下，标定间方法里面将雷达点提取的标定框拟合出来以后，会根据标定版尺寸将每个角点的3d信息都推测出来然后和相机2d点匹配，是这样的流程吗

● 是的，一般是用4个角的点来计算的

其它多传感器标定问题

问题1：请教大佬们一个问题，相机外参标定：标定相机外参一个方案就是收集点对。比如我想标定路口相机坐标系和世界坐标系的Rt，我的做法是在去畸变的图像上找到车道线、斑马线等有特征的静态物体，收集图像上的点坐标，并且标上序号，按照序号收集对应点在经纬坐标系下的坐标，再转换到墨卡托坐标系下。接着利用opencv接口，solvePnPRansac计算Rt（不够准），又用BA进行调优。结果发现世界坐标系下的点投影到图像上很不准，并且不准的没有规律。但这组点对用findHography接口计算单应性矩阵，可视化结果蛮准的。如果我将采集的点对按照图像区域划分计算局部Rt，投影到图像上就准了。现在觉得有两种可能，1是采集经纬坐标的设备精度太差，2是计算外参算法有问题。

● 建议，t自己测量一个，只优化R试试；或者优化的时候给t加个范围约束

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码免费学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、Occupancy、多传感器融合、大模型、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）