手把手玩转双目三维重建：从摄像头到点云工厂-优快云博客

双目三维重建系统 (双目标定+立体校正+双目测距+点云显示+多种点云处理算法) Python源码：基于OpenCV的图像处理，Open3D的点云处理，基于深度学习的立体匹配和视差计算方法代码包含: 1、支持双USB/单USB连接线的双目摄像头 2、支持单目相机标定支持双目相机标定无需 Matlab标定 3、另提供基于Matlab工具箱的标定方法 4、支持使用WLS滤波器对SGBM算法视差图进行滤波，并通过高斯滤波和相机参数得到点云三维坐标 5、提供基于深度学习的立体匹配和视差计算参考实验项目 6、支持双目测距，误差在lcm内(鼠标点击图像即可获得其深度距离)，支持Open3D和PCL点云显示 7、提供部分常用的点云处理算法Python例程源码提供所有文件的执行流程和提示

两枚摄像头组成的立体视觉系统就像人眼，拍张照就能算出物体离你多远。今天咱们用Python+OpenCV+Open3D，自己搭个能测距、能生成点云的实战系统。准备好你的摄像头和键盘，直接开干！

硬件准备：给双目摄像头接上电

市面常见的双目模组分两种：单USB接口（左右目图像合并传输）和双USB独立传输。代码里已经封装了这两种情况的视频流读取方法：

# 单USB设备示例（图像左右拼接）
cap = cv2.VideoCapture(0)
ret, frame = cap.read()
left_img = frame[:, :frame.shape[1]//2]
right_img = frame[:, frame.shape[1]//2:]

# 双USB设备示例（需提前确认设备索引）
cap_left = cv2.VideoCapture(0)
cap_right = cv2.VideoCapture(1)

标定：给摄像头做个体检

别急着拍！摄像头出厂都有畸变，得先标定。用棋盘格在镜头前晃悠拍20张图，系统自动计算内参和畸变系数。这里有个偷懒技巧——直接用A4纸打印棋盘格，贴硬纸板上当标定板。

# 自动检测棋盘格角点
ret, corners = cv2.findChessboardCorners(gray_img, (9,6), None)
if ret:
    # 亚像素级角点优化
    cv2.cornerSubPix(gray_img, corners, (11,11), (-1,-1), criteria)
    obj_points.append(objp)
    img_points.append(corners)

# 双目标定核心代码（得到相机矩阵和相对位置）
ret, K1, D1, K2, D2, R, T, E, F = cv2.stereoCalibrate(
    obj_points, img_points_l, img_points_r, 
    K1, D1, K2, D2, (w,h), flags=cv2.CALIB_FIX_INTRINSIC)

立体校正：让画面对齐得像强迫症

标定完要做图像校正，让左右图的每一行严格水平对齐。想象给两个摄像头戴上了特制眼镜，画面瞬间整齐划一。

# 计算校正映射表
R1, R2, P1, P2, Q, _, _ = cv2.stereoRectify(
    K1, D1, K2, D2, (w,h), R, T, alpha=0)
mapx1, mapy1 = cv2.initUndistortRectifyMap(K1, D1, R1, P1, (w,h), cv2.CV_32F)
mapx2, mapy2 = cv2.initUndistortRectifyMap(K2, D2, R2, P2, (w,h), cv2.CV_32F)

# 实时校正演示
left_rect = cv2.remap(left_img, mapx1, mapy1, cv2.INTER_LINEAR)
right_rect = cv2.remap(right_img, mapx2, mapy2, cv2.INTER_LINEAR)

深度计算：SGBM算法与WLS滤波的默契配合

SGBM算法算出的视差图像被泼了墨水？上WLS滤波器！这对黄金搭档能让视差图边缘更干净：

# SGBM参数配置（重点调整这几个参数！）
window_size = 5
min_disp = 0
num_disp = 64
stereo = cv2.StereoSGBM_create(
    minDisparity=min_disp,
    numDisparities=num_disp,
    blockSize=window_size,
    P1=8*3*window_size**2,
    P2=32*3*window_size**2)

# WLS滤波
wls_filter = cv2.ximgproc.createDisparityWLSFilter(stereo)
disparity = stereo.compute(left_rect, right_rect).astype(np.float32)/16.0
filtered_disp = wls_filter.filter(disparity, left_rect)

点云生成：从二维到三维的魔法时刻

拿到视差图后，结合Q矩阵就能算出三维坐标。Open3D的三行代码可视化让点云显示变得超简单：

# 视差转点云
points = cv2.reprojectImageTo3D(filtered_disp, Q)
mask = (filtered_disp > filtered_disp.min())
pcd = o3d.geometry.PointCloud()
pcd.points = o3d.utility.Vector3dVector(points[mask])
o3d.visualization.draw_geometries([pcd])

实战技巧：