深入解析slambook2中的双目视觉三维重建实现-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00294/article/details/148488504

深入解析slambook2中的双目视觉三维重建实现

slambook2 edition 2 of the slambook 项目地址: https://gitcode.com/gh_mirrors/sl/slambook2

本文将以slambook2项目中的stereoVision.cpp为例，详细讲解如何使用OpenCV和Pangolin实现基于双目视觉的三维重建。这个示例程序展示了从双目图像到三维点云重建的完整流程，是学习计算机视觉中立体视觉技术的优秀案例。

程序概述

该程序主要完成了以下几个关键步骤：

读取左右目图像
计算视差图
根据视差图重建三维点云
使用Pangolin可视化点云

核心代码解析

1. 相机参数设置

程序首先定义了相机的内参和基线距离：

// 内参
double fx = 718.856, fy = 718.856, cx = 607.1928, cy = 185.2157;
// 基线
double b = 0.573;

这些参数对于三维重建至关重要：

fx, fy：相机在x和y方向的焦距
cx, cy：主点坐标
b：双目相机基线距离，即两个相机光心之间的距离

2. 视差图计算

程序使用OpenCV的StereoSGBM算法计算视差图：

cv::Ptr<cv::StereoSGBM> sgbm = cv::StereoSGBM::create(
    0, 96, 9, 8 * 9 * 9, 32 * 9 * 9, 1, 63, 10, 100, 32);
cv::Mat disparity_sgbm, disparity;
sgbm->compute(left, right, disparity_sgbm);
disparity_sgbm.convertTo(disparity, CV_32F, 1.0 / 16.0f);

这里使用了半全局块匹配算法(Semi-Global Block Matching)，参数说明：

minDisparity：最小视差，设为0
numDisparities：视差搜索范围，设为96
blockSize：匹配块大小，设为9
其他参数控制算法的惩罚项和一致性检查

3. 三维点云重建

根据视差图重建三维点云的核心代码如下：

for (int v = 0; v < left.rows; v++)
    for (int u = 0; u < left.cols; u++) {
        if (disparity.at<float>(v, u) <= 0.0 || disparity.at<float>(v, u) >= 96.0) continue;

        Vector4d point(0, 0, 0, left.at<uchar>(v, u) / 255.0);

        // 根据双目模型计算 point 的位置
        double x = (u - cx) / fx;
        double y = (v - cy) / fy;
        double depth = fx * b / (disparity.at<float>(v, u));
        point[0] = x * depth;
        point[1] = y * depth;
        point[2] = depth;

        pointcloud.push_back(point);
    }

这里的关键公式是深度计算：

depth = (f * b) / disparity

其中：

f是焦距
b是基线距离
disparity是视差值

4. 点云可视化

程序使用Pangolin库进行点云可视化：

pangolin::CreateWindowAndBind("Point Cloud Viewer", 1024, 768);
glEnable(GL_DEPTH_TEST);
glEnable(GL_BLEND);
glBlendFunc(GL_SRC_ALPHA, GL_ONE_MINUS_SRC_ALPHA);

// 设置相机视角
pangolin::OpenGlRenderState s_cam(
    pangolin::ProjectionMatrix(1024, 768, 500, 500, 512, 389, 0.1, 1000),
    pangolin::ModelViewLookAt(0, -0.1, -1.8, 0, 0, 0, 0.0, -1.0, 0.0)
);

// 绘制点云
glPointSize(2);
glBegin(GL_POINTS);
for (auto &p: pointcloud) {
    glColor3f(p[3], p[3], p[3]);
    glVertex3d(p[0], p[1], p[2]);
}
glEnd();