【图像处理】基于双目立体匹配的景深计算（Matlab代码实现）

最新推荐文章于 2025-08-11 00:00:00 发布
原创 最新推荐文章于 2025-08-11 00:00:00 发布 · 918 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#图像处理 #matlab #数码相机 #支持向量机

 👨‍🎓个人主页

💥💥💞💞欢迎来到本博客❤️❤️💥💥

🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。

⛳️座右铭：行百里者，半于九十。

📋📋📋本文目录如下：🎁🎁🎁

目录

💥1 概述

基于双目立体匹配的景深计算研究

1. 双目立体匹配的基本原理

2. 景深计算的定义与理论

3. 立体匹配算法的分类与对比

3.1 传统方法

3.2 基于深度学习的方法

4. 视差图优化与深度图生成

5. 应用案例

6. 最新研究进展

7. 挑战与未来方向

📚2 运行结果

🎉3 参考文献

🌈4 Matlab代码实现

💥1 概述

基于双目立体匹配的景深计算研究

双目立体匹配一直是双眼视觉的研究热点。双目相机捕获同一场景的左右视点图像，使用立体匹配匹配算法获得视差图和深度图。

流程：

首先导入左右图像，并设置合理的搜索窗口和模板大小。以每个像素为中心，并使用固定大小的像素作为模板。假设相机已被校正，因此它仅水平搜索。在搜索窗口中连续移动左侧图像模板，以计算左侧和右侧模板的成本。获得成本后，通过累积像素信息来提高结果的信噪比，即成本聚合过程。这里我们优化窗口中最小生成值的坐标，并使用抛物线拟合来更新视差值。最后，对得到的视差图进行细化（使用中值滤波器），以消除视差图中产生的部分噪声。

1. 双目立体匹配的基本原理

双目立体视觉通过模拟人眼视差感知机制，利用两个相机从不同视角采集同一场景的图像，通过立体匹配技术计算视差图，进而推导出深度信息。其核心流程包括以下步骤：

  1. 双目标定
    确定相机的内参（焦距、主点坐标、畸变系数）和外参（两相机间的旋转矩阵RR和平移向量TT），建立两相机的几何关系模型。

  2. 极线校正
    将两幅图像的极线对齐至水平方向，简化匹配搜索范围为一维水平线，降低计算复杂度。

  3. 立体匹配

    • 代价计算：通过像素或特征相似性（如SAD、SSD、Census变换、NCC等）构建初始代价体。

    • 代价聚合：利用窗口或全局优化方法（如动态规划、图割）平滑代价体，提升匹配鲁棒性。
    • 视差计算：通过赢家通吃（WTA）策略选择最小代价对应的视差值，生成初始视差图。
    • 视差优化：采用左右一致性检测、中值滤波、空洞填充等方法优化视差图，减少误匹配。

  4. 深度计算
    根据三角测量原理，视差dd与深度ZZ成反比，公式为：

其中f为焦距，B为基线距离。

2. 景深计算的定义与理论

景深（Depth of Field, DOF）指场景中能清晰成像的纵向范围，其计算不仅依赖双目立体匹配结果，还需考虑光学参数：

  • 影响因素：光圈大小（有效F值）、焦距、拍摄距离、传感器尺寸。
  • 公式推导：
3. 立体匹配算法的分类与对比
3.1 传统方法
算法类型核心思想优点缺点
局部匹配基于窗口相似性（SAD、NCC等）计算速度快低纹理区域误匹配率高
全局匹配最小化全局能量函数（动态规划、图割）精度高计算复杂度高
半全局匹配（SGBM）结合局部和全局优化策略速度与精度平衡参数调优复杂
3.2 基于深度学习的方法
  • CNN方法：通过卷积神经网络提取多尺度特征，构建代价体并聚合，如GCNet、PSMNet。
  • Transformer方法：利用自注意力机制捕捉长距离依赖，解决CNN感受野受限问题。
  • 混合方法：结合传统算法与深度学习（如AD-Census改进算法），在低纹理区域提升18%精度。
4. 视差图优化与深度图生成

  1. 视差优化技术

    • 错误检测：左右一致性检测（式11）剔除遮挡点。
    • 空洞填充：邻域插值或最小视差填充。
    • 滤波处理：加权中值滤波平滑噪声。

  2. 深度图生成
    通过视差图转换公式计算深度，并融合超像素分割、多尺度特征融合等技术提升精度。

5. 应用案例
  1. 机器人导航
    基于景深信息的避障策略（如深度强化学习中的奖励预测与碰撞约束），提升路径规划效率。
  2. AR/VR
    实时景深模拟（如GPU加速滤波算法）增强虚拟场景的沉浸感。
  3. 工业测量
    双目结构光混合方法实现高精度体积测量，误差小于5%。
6. 最新研究进展
  1. 深度学习模型创新
    • 注意力机制：如MS-ACV网络通过多尺度注意力提升视差估计精度。
    • 端到端优化：DRR网络通过检测-替换-精修三步迭代优化视差图。
  2. 硬件加速
    GPU并行化处理使传统算法速度提升1\sim2个数量级。
  3. 多模态融合
    结合结构光与双目视觉，解决低纹理场景的匹配难题。
7. 挑战与未来方向
  1. 挑战
    • 低纹理、反光表面的匹配精度不足。
    • 实时性与计算资源的平衡。
  2. 未来方向
    • 轻量化深度学习模型（如MobileStereoNet）。
    • 多传感器融合（LiDAR、ToF）提升鲁棒性。
    • 自监督学习减少对标注数据的依赖。

📚2 运行结果

主函数部分代码：

clc;
clear;

%% 加载2张立体图像
left = imread('iml1545.jpg');
right = imread('imr1545.jpg');
sizeI = size(left);

% 显示复合图像
zero = zeros(sizeI(1), sizeI(2));
channelRed = left(:,:,1);
channelBlue = right(:,:,3);
composite = cat(3, channelRed, zero, channelBlue);

figure(1);
subplot(2,3,1);
imshow(left);
axis image;
title('左图');

subplot(2,3,2);
imshow(right);
axis image;
title('右图');

subplot(2,3,3);
imshow(composite);
axis image;
title('重叠图');

%% 基本的块匹配

% 通过估计子像素的块匹配计算视差
disp('运行基本的块匹配~');

% 启动定时器
tic();

% 平均3个颜色通道值将RGB图像转换为灰度图像
leftI = mean(left, 3);
rightI = mean(right, 3);


% SHD
%  bitsUint8 = 8;
% leftI = im2uint8(leftI./255.0);
% rightI = im2uint8(rightI./255.0);


% DbasicSubpixel将保存块匹配的结果，元素值为单精度32位浮点数
DbasicSubpixel = zeros(size(leftI), 'single');

% 获得图像大小
[imgHeight, imgWidth] = size(leftI);

% 视差范围定义离第1幅图像中的块位置多少像素远来搜索其它图像中的匹配块。
disparityRange = 50;

% 定义块匹配的块大小
halfBlockSize = 5;
blockSize = 2 * halfBlockSize + 1;

% 对于图像中的每行（m）像素
for (m = 1 : imgHeight)
        
    % 为模板和块设置最小/最大块边界
    % 比如：第1行，minr = 1 且 maxr = 4
    minr = max(1, m - halfBlockSize);
    maxr = min(imgHeight, m + halfBlockSize);
    
    % 对于图像中的每列（n）像素
    for (n = 1 : imgWidth)
        
        % 为模板设置最小/最大边界
        % 比如：第1列，minc = 1 且 maxc = 4
        minc = max(1, n - halfBlockSize);
        maxc = min(imgWidth, n + halfBlockSize);
        
        % 将模板位置定义为搜索边界，限制搜索使其不会超出图像边界 
        % 'mind'为能够搜索至左边的最大像素数；'maxd'为能够搜索至右边的最大像素数
        % 这里仅需要向右搜索，所以mind为0
        % 对于要求双向搜索的图像，设置mind为max(-disparityRange, 1 - minc)
        mind = 0; 
        maxd = min(disparityRange, imgWidth - maxc);

        % 选择右边的图像块用作模板
        template = rightI(minr:maxr, minc:maxc);
        
        % 获得本次搜索的图像块数
        numBlocks = maxd - mind + 1;
        
        % 创建向量来保存块偏差
        blockDiffs = zeros(numBlocks, 1);
        
        % 计算模板和每块的偏差
        for (i = mind : maxd)
        
            %选择左边图像距离为'i'处的块
            block = leftI(minr:maxr, (minc + i):(maxc + i));
        
            % 计算块的基于1的索引放进'blockDiffs'向量
            blockIndex = i - mind + 1;
            
            %{
            % NCC（Normalized Cross Correlation）
            ncc = 0;
            nccNumerator = 0;
            nccDenominator = 0;
            nccDenominatorRightWindow = 0;
            nccDenominatorLeftWindow = 0;
            %}
            
            % 计算模板和块间差的绝对值的和（SAD）作为结果
            for (j = minr : maxr)
                for (k = minc : maxc)
                    
                    % SAD（Sum of Absolute Differences）
                    blockDiff = abs(rightI(j, k) - leftI(j, k + i));
                    blockDiffs(blockIndex, 1) = blockDiffs(blockIndex, 1) + blockDiff;
                    
                    
                    %{
                    % NCC
                    nccNumerator = nccNumerator + (rightI(j, k) * leftI(j, k + i));
                    nccDenominatorLeftWindow = nccDenominatorLeftWindow + (leftI(j, k + i) * leftI(j, k + i));
                    nccDenominatorRightWindow = nccDenominatorRightWindow + (rightI(j, k) * rightI(j, k));
                    %}
                end
            end

🎉3 参考文献

[1]杨晓立,叶乐佳,赵鑫,王飞,徐玉华,肖振中.双目立体视觉研究进展与应用[J/OL].激光与光电子学进展:1-30[2023-06-06].

部分理论引用网络文献，若有侵权联系博主删除。

🌈4 Matlab代码实现

计算机视觉与深度学习 ｜ 双目立体匹配算法理论+Opencv实践+matlab实践
尘世冰封的专栏
04-29 774
双目立体匹配需根据场景需求权衡速度与精度。OpenCV中的SGBM算法因其灵活性成为主流选择，结合预处理和后处理技术可显著提升效果。未来趋势包括深度学习融合（如PSMNet）与多传感器联合优化。
基于matlab的双目图像立体匹配算法仿真
平时工作较为繁忙,私信消息一般晚上回复,谢谢大家~~
11-27 786
目录1.算法概述2.仿真效果2.仿真效果 针对全局立体匹配算法计算量大的问题,引入全局差错能量函数对算法进行改进.将全局差错能量函数作为立体匹配的匹配代价,同时进行跳跃式区域生长,隔点求取差错能量函数值以获取视差图,并采用均值滤波器对其做平滑处理,设置影响滤波阈值大小的容差系数,使之更适合人眼的观察.针对不同像素的彩色图像对,自适应选取容差系数得到较优的滤波后视差图.实验结果表明,改进算法在保证准确性的基础上可有效减小计算耗时,提高匹配实时性. 立体匹配算法步骤1）匹配代价计算（Cost Com
双目立体匹配原理及流程简介
cy413026的博客
10-20 1741
匹配代价计算的目的是计算参考图像上的每一个待匹配像素与目标图上每一个可能的视差范围内的候选像素之间的相关性，最后得到一个大小为W×H×D (D为视差搜索范围)的代价矩阵C（也叫视差空间图Disparity Space Image，DSI），代价计算算法是双目匹配的核心之一，不同的计算方式有不同的优势，有时候可以结合多种计算方法。的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。立体视觉：立体视觉是。
深度相机---双目深度相机
最新发布
MzKyle的博客
08-11 3260
双目深度相机通过双摄像头模拟人眼立体视觉，利用三角测量原理计算场景深度。其核心技术在于视差计算，通过基线长度、焦距和像素偏移量建立深度映射关系。硬件需保证双摄像头参数一致性、同步曝光和精确标定，工作流程包括图像采集、畸变校正、极线对齐、立体匹配和深度计算。相比其他深度感知技术，双目方案在成本、环境适应性方面具有优势，但依赖场景纹理且计算复杂，广泛应用于机器人、AR/VR和自动驾驶等领域。
基于Matlab的双目立体匹配获取视差图
小张的技术分享博客
03-26 4894
最近发现Matlab真的很好用啊！想看看Matlab求视差图的效果，简单试了以下，效果还可以。
【图像处理】基于双目立体匹配的景深计算附Matlab代码.rar
04-18
本压缩包文件中所包含的Matlab代码，提供了一个实现双目立体匹配景深计算的平台。Matlab作为一种广泛使用的数值计算和编程环境，非常适合进行图像处理和算法的验证。Matlab具有强大的图像处理工具箱，提供了丰富的...
【Matlab实现】基于双目立体匹配的景深计算（图像处理）
Wechat:OnePiece_Matlab
02-14 1043
在进行立体匹配前，首先必须对双目相机系统进行精确标定，获得相机的内部参数（如焦距、光心位置等）和外部参数（即两相机间的相对位置和姿态）。通过精确的景深计算，可以提升图像的真实感和交互体验，促进三维空间感知和场景理解能力的发展。基于双目立体匹配的景深计算是一种利用两台相机捕捉同一场景的两个视角，通过匹配两个图像中的同一物体点，计算出物体的三维深度信息的方法。分析并评估由匹配错误、深度不连续、图像失真等因素引起的误差，采取滤波算法、多视图融合、深度学习优化匹配策略等方法减少误差，提高景深计算的精度。
基于基于全局差错能量函数的双目图像立体匹配算法matlab仿真,并提取图像的深度信息
fpga/matlab/simulink算法仿真工程
11-16 1499
全局的能量函数公式如下: E(f)=Edata(f)+Esmooth(f) 其中,Edata 表示能量函数的数据项,意为该像素只考虑自身的视差值的倾向,不考虑 邻域内其他像素的影响;N 表示匹配聚合时的支持窗口;p 表示图像中的一个像素 点;dp∈D,D 表示视差取值范围;Dp(dp)表示 p 点的视差为 dp 时的匹配代 价;Esmooth 表示能量函数的平滑项,平滑项反映了像素间视差值的影响关系。
双目立体匹配，将matlab标定数据给opencv使用
byna11sina11的博客
12-08 1970
本文目的是使用matlab的stereo camera calibration工具箱标定得到的数据，给opencv使用，用来矫正图像。 前提 已经使用stereo camera calibration获得了stereoParams 这个教程很多，直接百度即可 1 opencv intrinsics.yml和 extrinsic.yml 这两个文件，是双目相机内参文件和外参文件，opencv在矫正的时候要读入这两个文件，该段代码如下所示 FileStorage fs(intrinsi
matlab基于SAD的区域立体匹配方法
05-30
matlab基于SAD法对左右两幅图片进行匹配，并生成深度图像。.m文件。
双目立体视觉匹配程序
05-22
运用matlab进行双目立体视觉的深度信息匹配，最后导出彩色深度图
SSD+SAD+NCC立体匹配算法matlab代码
05-04
三个基础性的立体匹配算法，直接下载下来就可以运行，学立体匹配必须掌握的算法，只要5个币，真的是白菜价。 希望能够帮助到大家，下载后绝对不会后悔的。
双目立体视觉快速NCC算法 matlab
04-18
在传统的NCC算法上采用卷积加速
【理论恒叨】【立体匹配系列】经典SGM：（1）匹配代价计算之互信息（MI）
热门推荐
闲情逸致~
10-30 3万+
SemiGlobalMatching（SGM），立体匹配经典算法，理论详解教学！
双目立体匹配SAD的matlab源码分析
沙丁鱼鱼鱼
07-07 1735
clear all clc left=double(rgb2gray(imread('left.png'))); right=double(rgb2gray(imread('right.png'))); [m n]=size(left); w=9; %窗口半径 depth=20; %最大偏移距离，同样也是最大深度距离 imgn=zeros(m,n); for i=1+w:m...
立体匹配SAD算法matlab实现
laoliaixuexi的博客
02-18 1万+
1.算法原理 SAD(Sum of absolute differences)是一种图像匹配算法。基本思想：差的绝对值之和。此算法常用于图像块匹配，将每个像素对应数值之差的绝对值求和，据此评估两个图像块的相似度。该算法快速、但并不精确，通常用于多级处理的初步筛选。 2.基本流程 输入：两幅图像，一幅Left，一幅Right 对左图，依次扫描，选定一个锚点： （1）构造一个小窗口,类似于卷积核； （...
双目立体视觉SAD匹配算法
u012507022的博客
05-22 3万+
SAD(Sum of absolute differences)是一种图像匹配算法。基本思想：差的绝对值之和。此算法常用于图像块匹配，将每个像素对应数值之差的绝对值求和，据此评估两个图像块的相似度。该算法快速、但并不精确，通常用于多级处理的初步筛选。
matlab相关系数影像匹配_双目立体匹配步骤详解
weixin_39664696的博客
11-22 1235
作者：李迎松
基于双目立体匹配的景深计算（Matlab代码实现）
12-30
基于双目立体匹配的景深计算是一种常见的深度感知技术，利用两幅从不同角度拍摄的图像之间的视差信息来确定物体距离。MATLAB有专门的Computer Vision Toolbox支持这种计算，例如`stereoBM`函数。下面是一个简单的例子： ```Matlab % 首先，加载左右眼的图像 left_img = imread('left_image.png'); right_img = imread('right_image.png'); % 双目相机对准的两张图片 % 将图像调整到相同的尺寸，并转化为灰度图像 left_gray = rgb2gray(imresize(left_img, [640, 480])); right_gray = rgb2gray(imresize(right_img, [640, 480])); % 创建 StereoBM 对象并设置参数 stereo = stereoBM('NumDisparities', 16, 'BlockSize', 11, 'PWindowSize', 9, 'MinDisparity', -16); % 计算深度地图 [disparity, ~] = computeCorrespondence(stereo, left_gray, right_gray); % 将像素值转换为深度（假设摄像机参数已知） camera_matrix = ... % 你需要提供相机矩阵 principal_point = ... % 相机中心点 focal_length = ... % 主焦距 depth = disparity * focal_length / disparity; % 处理稀疏深度区域（如边界） valid_depth = depth ~= Inf & depth ~= NaN; % 显示原始图像和深度图 figure; subplot(1, 2, 1), imshow(cat(3, left_gray, right_gray)), title('Stereo Pair'); subplot(1, 2, 2), imagesc(valid_depth), colormap(map('hot')), axis off, title('Depth Map'); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值