OpenCV的双目相机remap

本文介绍如何使用双目相机内外参数通过remap进行极线校正的过程。包括读取相机参数、计算校正变换矩阵、生成remap表格及应用remap进行图像校正。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

双目相机的remap主要是为了解决“极线对齐”的问题,需要输入相机的内外参数,分别产生左图x方向、y方向和右图x方向、y方向的remap表格,并由这个表格按照LUT对原图像进行“极限校正”。
对极几何是双目相机立体标定的数学基础,相关知识点参考:http://blog.youkuaiyun.com/dcrmg/article/details/52986522
主要思路是:
(1)读入双目相机的内外参数:
  1. FileStorage fs(path, FileStorage::READ);  
  2. vector<string> Limg_list, Rimg_list;  
  3. if (!fs.isOpened())  
  4. {  
  5.     cout << "open camaredata file error!" << endl;  
  6.     return false;  
  7. }  
  8. fs["M1"] >> M1;  //> Limg的内参  
  9. fs["D1"] >> D1;  //> Limg的畸变系数  
  10. fs["M2"] >> M2;  //> Rimg的内参  
  11. fs["D2"] >> D2;  //> Rimg的畸变系数  
  12. fs["R"] >> R;    //> 旋转矩阵  
  13. fs["T"] >> T;    //> 平移矩阵  
M1-左目相机内参;
D1-左目相机畸变系数;
M2-右目相机内参;
D2-右目相机畸变系数;
R -双目相机外参的旋转矩阵;
T -双目相机外参的平移矩阵;
(2)利用stereoRectify函数,由双目相机内外参数计算双目相机的校正变换矩阵;
(3)利用initUndistortRectifyMap函数,由对应的相机内参和校正变换矩阵计算x和y方向的remap表格;
  1. Mat Rl, Rr, Pl, Pr, Q;  
  2. stereoRectify(M1, D1, M2, D2, Size(1280, 720), R, T, Rl, Rr, Pl, Pr, Q, CALIB_ZERO_DISPARITY, -1, Size(1280, 720));
  3. initUndistortRectifyMap(M1, D1, Rl, Pl, Size(1280, 720), CV_32FC1, mapLx, mapLy);  
  4. initUndistortRectifyMap(M2, D2, Rr, Pr, Size(1280, 720), CV_32FC1, mapRx, mapRy);  
(4)利用remap函数,由remap表格和对应的原图计算极线校正之后的图像。
  1. Mat Limg = imread("Limage.png", CV_LOAD_IMAGE_ANYDEPTH);    
  2. Mat Rimg = imread("Rimage.png", CV_LOAD_IMAGE_ANYDEPTH);  
  3. Mat re_imgL, re_imgR;  
  4. remap(Limg, re_imgL, mapLx, mapLy, INTER_LINEAR);  
  5. remap(Rimg, re_imgR, mapRx, mapRy, INTER_LINEAR);  




### 使用 OpenCV 实现双目相机矫正 #### 准备工作 为了实现双目相机矫正,首先需要获取两个摄像机的内参矩阵和外参矩阵。这通常通过棋盘格标定板来完成。具体来说,在不同位置拍摄多幅包含棋盘格图案的照片,并利用这些照片计算出内外参数。 ```python import cv2 import numpy as np # 定义棋盘尺寸 (宽度, 高度),单位为角点数减一 chessboard_size = (9, 6) # 设置世界坐标系中的三维点对象 points_obj 和图像平面内的二维点 objects_img[] objp = np.zeros((np.prod(chessboard_size), 3), dtype=np.float32) objp[:, :2] = np.mgrid[0:chessboard_size[0], 0:chessboard_size[1]].T.reshape(-1, 2) points_3d = [] # 存储每张图片的世界空间坐标 points_2d_left = [] # 左图像素坐标 points_2d_right = [] # 右图像素坐标 for i in range(num_images): # num_images 是采集到的有效样本数量 ret_l, corners_l = cv2.findChessboardCorners(gray_image_left[i], chessboard_size, None) ret_r, corners_r = cv2.findChessboardCorners(gray_image_right[i], chessboard_size, None) if ret_l and ret_r: points_3d.append(objp) points_2d_left.append(corners_l) points_2d_right.append(corners_r) gray_image_left[i] = cv2.drawChessboardCorners(color_image_left[i], chessboard_size, corners_l, ret_l) gray_image_right[i] = cv2.drawChessboardCorners(color_image_right[i], chessboard_size, corners_r, ret_r) ``` 上述代码片段用于检测并提取棋盘格特征点[^1]。 #### 计算单应性变换矩阵与校正映射表 接着,使用 `cv2.stereoCalibrate()` 来估计两台摄像设备之间的相对姿态关系以及各自的内部参数;之后再调用 `cv2.initUndistortRectifyMap()`, 构建重投影所需的映射表格: ```python ret, mtx1, dist1, mtx2, dist2, R, T, E, F = \ cv2.stereoCalibrate(points_3d, points_2d_left, points_2d_right, cameraMatrix1=None, distCoeffs1=None, cameraMatrix2=None, distCoeffs2=None, imageSize=image_shape[::-1], flags=cv2.CALIB_FIX_INTRINSIC)[1:] R1, R2, P1, P2, Q, roi1, roi2 = \ cv2.stereoRectify(mtx1, dist1, mtx2, dist2, image_shape[::-1) mapx1, mapy1 = cv2.initUndistortRectifyMap(mtx1, dist1, R1, P1, image_shape[::-1], cv2.CV_32FC1) mapx2, mapy2 = cv2.initUndistortRectifyMap(mtx2, dist2, R2, P2, image_shape[::-1], cv2.CV_32FC1) ``` 这里定义了新的投影矩阵 \(P_1\) 和 \(P_2\)[^2],并通过初始化未失真矩形化映射函数创建了两张地图,分别对应左眼视角下的 x-y 坐标的转换规则。 #### 应用映射进行图像变形处理 最后一步就是应用之前构建好的映射表对原始输入帧执行几何变换操作,从而获得经过校准后的输出视图: ```python left_rectified = cv2.remap(image_left, mapx1, mapy1, interpolation=cv2.INTER_LINEAR) right_rectified = cv2.remap(image_right, mapx2, mapy2, interpolation=cv2.INTER_LINEAR) ``` 这样就可以得到已经过畸变消除并且相互平行排列的一对新图像序列[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值