激光雷达-相机外参联合标定通过手动选取3D-2D点利用PnP求解

最新推荐文章于 2025-03-25 09:36:35 发布
原创 最新推荐文章于 2025-03-25 09:36:35 发布 · 置顶 · 3k 阅读 · 41 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#标定

0、写在前面

差不多快半年没有更新博客了，这里先感慨一下找工作的不容易。
这个激光雷达-相机联合标定的需求是因为我前段时间所做的项目中有一个需求，需要给点云添加对应的温度。没错，给点云加温度，从红外相机中获取到温度。

1、激光雷达->相机的坐标变换

在这里插入图片描述
什么是激光雷达到相机坐标系的变换？
激光雷达坐标系下的一个3D点(x, y, z)通过外参矩阵(R, t)转换到相机坐标系，在通过相机内参转到像素平面得到2D点(u,v)

2、怎么解这个外参矩阵

为了解这个(R, t)矩阵，我们至少需要三对匹配点，利用三对匹配点的就变成了PnP中的P3P问题。具体的原理可以参考高翔slambook中第七章中相关内容

3、怎么获取匹配点对

之前用过Autoware的Calibration ToolKit ，它可以自动识别到图像和点云中的标定板，这在小范围场景下是可行的。

如果相机和激光雷达安装的位置很高，导致标定板在视野中很小，那么此时标定板就捕获不到了。那么有没有别的方法呢？
答案是可以的，我们可以在图像和点云中自己选取匹配的点对，通过鼠标的监听方式。但这种方式带来的困难也显而易见的，我们能确定这是同一块区域，但是对区域里的具体的点的选择确实困难的，概括来说就是：

  • 确定这是匹配点
  • 鼠标点的准

4、PnP求解3D-2D问题

可以调用opencv中的PnP方法完成求解


                

                
                
        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



              

                

              

            
              



	

		

			

				
					
激光雷达与相机外参标定（附open3d python代码）

				
			

			

				

					三维点云技术探索  
				

				

					11-24
					
					3244
					
				

			

		

		

			
				
现在的激光雷达与相机的标定程序基本都是Ubuntu框架下面的，并且都是C++代码，需要安装的依赖也比较复杂，于是自己写了一个python版本的标定程序，依赖非常简单，Windows系统也可以运行。我这里用的大疆的雷达，点比较密集，更容易用我这种方法标定，旋转的16，32线的雷达也可以用这种方法标定，只是标定点会相对难选取一些。2 手动在点云上选取N个标定点（每个点都对应图像上的点，顺序也要一致）3 通过PNP方法计算出二者的旋转投影矩阵，也就是外参矩阵。1 手动在图像上面选取N个标定点。

			
		

	



              


  
  
              

                


	

		

			

				
					
基于激光雷达实现三边定位算法开发记录（八）——坐标转换

				
			

			

				

					weixin_48702107的博客
				

				

					07-29
					
					1635
					
				

			

		

		

			
				
在匹配别出目标反光柱并获取目标反光柱的坐标后，需要将反光柱坐标从当前的激光坐标系转换到全局坐标系下，以便后面三边定位算法算出来的小车坐标是全局坐标系中的坐标。

			
		

	





	

		

			

				
					
一文了解PnP算法，python opencv中的cv2.solvePnP()的使用，以及使用cv2.sovlePnP()方法标定相机和2D激光雷达

				
			

			

				

					2401_88244350的博客
				

				

					11-18
					
					3355
					
				

			

		

		

			
				
下面几种说法都是对pnp算法要做的事情的描述，大家自己体会一下1、PnP）是求解 3D 到 2D 点对运动的方法。它描述了当我们知道n 个 3D 空间点以及它们的投影位置时，如何估计相机所在的位姿。——《视觉SLAM十四讲》（参考2、通俗的讲，PnP问题就是在已知世界坐标系下N个空间点的真实坐标以及这些空间点在图像上的投影，如何计算相机所在的位姿。罗嗦一句：已知量是空间点的真实坐标和图像坐标，未知量（求解量）是相机的位姿。3、PnP是用来求解3D-2D点对运动的方法参考4、PnP问题就是指通过。

			
		

	



		

			
		



	

		

			

				
					
联合标定2D激光雷达与相机

				
			

			

				

					cyx610481953的博客
				

				

					06-26
					
					3304
					
				

			

		

		

			
				
autoware标定原理
此次标定使用到的工具是autoware。其原理是选取不同时刻的激光雷达扫描点云以及对应最为接近的相机点云进行匹配得出相机和雷达之间的外参。选取的点云数量越多，计算的精度就越高。
标定过程
首先，录制联合标定用的数据包，根据原理，让激光雷达和相机同时观测到标定板，且选取点云的时候位置要尽量不同，因此，录制数据包的过程中让标定板左左转、右转，俯仰，下仰。然后，录制结束后，打开autoware标定工具，选择点云进行匹配，完成标定。最后保存，得到参数文件（此次标定用到的是A2思岚激光雷达与

			
		

	





	

		

			

				
					
激光雷达和相机的联合标定的实现（源代码，干货满满）

					
热门推荐

				
			

			

				

					qq_29462849的博客
				

				

					03-22
					
					2万+
					
				

			

		

		

			
				
介绍
最近要做激光雷达和相机的联合标定，我们使用相机进行二维图像上的object detection，激光雷达可以辅助测距，从而帮助我们判断物体相对于相机坐标系的位置。实现联合标定的框架主要有Autoware、Apollo、lidar_camera_calibration、but_velodyne，具体请参考：激光雷达和相机的联合标定。虽然这些框架已经帮我们实现了，但是框架对使用的雷达和相机的品牌...

			
		

	





	

		

			

				
					
激光雷达和相机的联合标定

				
			

			

				

					weixin_43199832的博客
				

				

					07-19
					
					1万+
					
				

			

		

		

			
				
最近在做相机和激光雷达的联合标定，花费了大把力气。
操作系统使用的设备：
Ubuntu18.04
Velodyne VLP16激光雷达
Kinect DK相机
准备工作
相机的sdk安装和ros相关文件的安装：https://blog.youkuaiyun.com/qq_27399933/article/details/107356117
可能会出现找不到libk4a1.4-dev的问题，运行下面的指令：
curl https://packages.microsoft.com/keys/microsoft.asc | 

			
		

	





	

		

			

				
					
雷达相机融合（一）PNP（或pnp+g2o）标定雷达-相机（源码）

				
			

			

				

					xx970829的博客
				

				

					11-01
					
					1606
					
				

			

		

		

			
				
目录PNPPNP+g2o
输入:image_get.txt，里面的数据为像素坐标(u,v)
输入:lidar_xyz.txt，里面的数据为雷达点（x,y,z）
[注意：数据每行前面没有空格]
输入相机内参：camMat=(Mat_(3,3)<<1120.793247366556, 0, 404.6240125739656, 0, 1126.958397947255, 248.9162767468943, 0, 0, 1);
PNP
//******************************

			
		

	





	

		

			

				
					
2D激光雷达和相机/3d激光雷达标定

				
			

			

				

					z15f34的博客
				

				

					03-25
					
					238
					
				

			

		

		

			
				
GitHub - MegviiRobot/CamLaserCalibraTool: Extrinsic Calibration of a Camera and 2d Laser

			
		

	





	

		

			

				
					
激光雷达与相机联合标定计算软件工具

				
			

			

				

					
				

			

		

		

			
				
具体而言，系统需要输入一组已知的3D-2D对应点对：例如，在标定板上设置明显的角点或边缘特征，使用激光雷达扫描获得这些点的三维坐标，同时用相机拍摄标定板并提取相同的特征点在图像平面上的像素位置。然后，借助...

			
		

	





	

		

			

				
					
基于ROS的相机和激光雷达离线自动标定

				
			

			

				

					BarryLoveBerry的博客
				

				

					11-07
					
					1133
					
				

			

		

		

			
				
基于ROS的相机和激光雷达离线自动标定

			
		

	





	

		

			

				
					
2d激光雷达和双目相机联合标定

				
			

			

				

					07-10
				

			

		

		

			
				
2D激光雷达与双目相机的联合标定主要涉及传感器之间的空间关系估计，即外参标定。目标是确定激光雷达坐标系与相机坐标系之间的旋转和平移参数。通常使用标定板（如棋盘格）作为参考物，通过检测标定板在不同传感器...

			
		

	





	

		

			

				
					
多传感融合内外参标定（二）：lidar-camera，PnP算法和自动化标定设想

				
			

			

				

					miracle629的博客
				

				

					03-07
					
					5216
					
				

			

		

		

			
				
多传感融合内外参标定（二）：lidar-camera自动化流程设想lidar-camera的PnP算法问题简述3D-2D的PnP算法现有工具的差劲表现改进方案和自动化标定设想现有方案的方法不存在的精确强特征点自动化标定流程统计误差平均效应
lidar-camera的PnP算法
问题简述
多线激光雷达lidar和相机camera（我又想起了SLAM的派别之争），是无人驾驶里最重要的2种传感器。lid...

			
		

	





	

		

			

				
					
python计算机视觉标定相机内外参数

				
			

			

				

					04-14
				

			

		

		

			
				
采用张正友相机标定的方法，通过对黑白棋盘格角点计算相机内外参数，传入所有图片各自角点的三维、二维坐标，相机标定。使用cv2.calibrateCamera()这个函数。它返回相机矩阵、畸变系数、旋转和平移向量等。

			
		

	





	

		

			

				
					
python PNP 根据点云三维坐标和图像二维坐标，计算雷达相机外参，并作重投影验证

				
			

			

				

					qq_18894441的博客
				

				

					10-22
					
					3345
					
				

			

		

		

			
				
#!/usr/bin/env python 
import cv2
import numpy as np 
import math
point3s=np.array(([-3.42315, -1.69773, -0.340899],[-3.76219, -1.10685, -0.341598],[-4.15474, -1.106, -1.40024],[-3.14925, -1.54094, -1...

			
		

	





	

		

			

				
					
激光雷达标定(坐标系转换)

				
			

			

				

					m0_68312479的博客
				

				

					12-10
					
					7995
					
				

			

		

		

			
				
激光雷达标定

			
		

	





	

		

			

				
					
pnp单目相机标定测距

				
			

			

				

					weixin_42064949的博客
				

				

					10-24
					
					1676
					
				

			

		

		

			
				
参考：opencv 单目相机pnp测距（Cpp）-优快云博客

			
		

	





	

		

			

				
					
激光雷达和相机的坐标转换以及联合标定

				
			

			

				

					weixin_45377028的博客
				

				

					10-21
					
					1万+
					
				

			

		

		

			
				
点云相机的坐标转换以及联合标定1.坐标系说明2.坐标系转换3.基于autoware功能包的联合标定
1.坐标系说明
1）Lidar坐标系
激光雷达坐标系可以描述物体与激光雷达的相对位置，表示为[XL, YL, ZL]，其中原点为激光雷达几何中心，XL轴水平向前，YL轴水平向左，ZL轴竖直向上，符合右手坐标系规则。
2）相机坐标系
相机坐标系可以描述物体与相机的相对位置，表示为[XC, YC, ZC]，其中原点为相机光心 O 点，XC 轴与 x 轴平行，YC 轴与 y轴平行，ZC轴与摄像机光轴平行，与图像平面

			
		

	





	

		

			

				
					
登山第七梯：激光扫描系统坐标系转换关系——你来我往

				
			

			

				

					qq625924821的博客
				

				

					11-16
					
					839
					
				

			

		

		

			
				
总体流程：激光雷达扫描得到的每个点（时间、水平视场角、垂直视场角、扫描距离）——》激光直角坐标系——》惯导坐标系——》当地水平坐标系——》世界坐标系：



			
		

	





	

		

			

				
					
详细相机标定方法与代码

				
			

			

				

					weixin_38252409的博客
				

				

					04-23
					
					1785
					
				

			

		

		

			
				
PnP(Perspective-n-Point)是求解3D到2D点的对应方法。不论是相机和雷达的标定还是相机和相机的标定都可以使用PNP来解决，即通过不同坐标系下相同的点对求解变换矩阵。这里相机多用棋盘格中的角点来实现点的提取。流行方法为张正友标定法，至于详细原理可点击我的博客https://www.cnblogs.com/tangjunjun/p/16240878.html查看，本博客主要使用代码实现外参求解与相机标定的内参和畸变系数求解。

			
		

	





	

		

			

				
					
激光雷达-摄像头外参标定

					
最新发布

				
			

			

				

					07-16
				

			

		

		

			
				
激光雷达与摄像头之间的外参标定是自动驾驶和机器人领域中的关键技术之一，旨在确定两者之间的相对位置和姿态（即旋转和平移参数）。以下是几种常见的外参标定方法：

### 1. 基于标定板的方法
文中提出了一种全新的标定板设计，用于联合标定任务[^1]。该方法通过使用特定的标定板（如棋盘格），在多个视角下采集数据，并利用这些数据来估计相机内参、畸变因子以及LiDAR-Camera外参。具体步骤包括：
- **数据采集**：在不同角度和距离下，使用激光雷达和摄像头同时采集标定板的数据。
- **特征提取**：从图像中提取角点等特征，并从点云数据中找到对应的点。
- **优化计算**：基于提取的特征，通过优化算法（如PnP或ICP）求解外参。

对于标定板的设计和使用，需注意以下参数：
- `chessboard_size`：表示标定板的物理尺寸，单位为米。
- `chessboard_width` 和 `chessboard_height`：分别表示棋盘格宽方向和高方向的角点数量。
- `chessboard_grap`：每个角点之间的间距，单位为米[^3]。

### 2. 在线标定方法
针对自动驾驶车辆的应用场景，文中介绍了一种基于在线标定的算法[^2]。这种方法不需要预先固定的标定板，而是通过实时采集的数据进行动态标定。其原理基于激光雷达以雷达坐标系（X, Y, Z）表示目标点云数据，而摄像头以图像坐标系（u, v）表示目标像素点位。通过匹配点云和图像中的特征点，可以实时更新外参。

### 3. 无标定板方法
文中还提到了一种无需标定板的外参标定方法[^4]。该方法依赖于相机内参的已知性，并通过配置文件（如`camera_config.json`）设置初始参数，包括：
- `camera_matrix`：相机矩阵。
- `distortion_coefficients`：镜头畸变系数。
- `tvec`：初始平移向量。
- `rvec`：初始旋转向量。

通过分析自然场景中的共同特征，结合优化算法，可以在没有标定板的情况下实现外参标定。

### 示例代码
以下是一个简单的Python示例，展示如何使用OpenCV库进行基于标定板的外参标定：

```python
import cv2
import numpy as np

# 定义棋盘格的尺寸和角点间距
chessboard_size = (11, 8)
square_size = 0.06  # 单位：米

# 准备对象点，如 (0,0,0), (1,0,0), ..., (10,7,0)
objp = np.zeros((chessboard_size[0] * chessboard_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:chessboard_size[0], 0:chessboard_size[1]].T.reshape(-1, 2) * square_size

# 存储对象点和图像点的数组
objpoints = []  # 3d点在世界坐标系中
imgpoints = []  # 2d点在图像平面中

# 加载图像并检测角点
cap = cv2.VideoCapture('calibration_video.mp4')
while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    ret, corners = cv2.findChessboardCorners(gray, chessboard_size, None)
    if ret:
        objpoints.append(objp)
        imgpoints.append(corners)

# 相机标定
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)

# 计算LiDAR到相机的外参
lidar_to_camera_rotation = ...  # 根据实际应用计算旋转矩阵
lidar_to_camera_translation = ...  # 根据实际应用计算平移向量
```

###

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 13

	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			
			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值