【论文学习笔记-5】立体匹配之MC-CNN

最新推荐文章于 2024-12-23 15:07:37 发布
原创 最新推荐文章于 2024-12-23 15:07:37 发布 · 1.4k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉

本文深入探讨了MC-CNN在立体匹配中的SGM（Stereo Matching Cost Aggregation）过程，包括十字架聚合法、惩罚值调整策略以及左右一致性检验。此外，还介绍了亚像素增强技术和传统滤波器在提升视差图质量中的应用，最终通过5x5中值滤波和双边滤波实现去噪和平滑。

【论文学习笔记-5】立体匹配：MC-CNN

本篇博客主要关注MC-CNN的SGM及后处理部分。

Cross-based cost aggregation

在这里插入图片描述

如上图所示的十字架聚合法,对costvolume中每个像素进行上下左右四个方向的十字架延伸，各方向延伸长度由如下两个因素控制：
①当十字架中心像素和待延伸像素的pixel intensity的绝对值差小于阈值；
②当两像素点的空间距离小于阈值。
以上两点同时满足时进行延伸。在左右图中均进行如上操作，联合区域定义为：

在这里插入图片描述

聚合采用求取平均值，并进行迭代（希望迭代收敛？)：

在这里插入图片描述

SGM过程

除了传统的p1,p2外，mc-cnn还加入了q1，q2进行惩罚值放缩，是否采用以及采用何种放缩手段由下列判断决定：
首先设置intensity阈值sgm_D，并设：

在这里插入图片描述

最低0.47元/天 解锁文章
《Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches》论文阅读之MC-CNN
Gavinmiaoc的博客
06-18 2020
通过训练卷积神经网络比较图像块的立体匹配 project主页：https://github.com/jzbontar/mc-cnn 基于patch的提取与比较，学习其相似性得到一个matching cost，并将正确匹配的patch定义为正样本，其他为负样本。 后处理包括：cross-based cost aggregation, semiglobal match...
MCCNN
03-30
神经网络
三维视觉论文阅读：mc-cnn2016双目立体匹配
Yan
12-15 1937
论文 Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches 摘要 本篇文章只关注“像素块相似度”这一块，仅仅是双目立体匹配中的一个小模块；导致文中还有大量传统方法的内容，不过这些东西不是现在应该讨论的重点，所以直接跳过了。 方法 早期的深度学习方法都还不是end2end，所以行文有点啰嗦。本篇文章大致分为数据集以及两个对应的网络。 1 数据集 考虑到本文只关心像素块的相似度，因此作者用了一个很简
论文阅读《MC-CNN: Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches》
薛定谔的猫头咕咕咕
03-27 2021
论文地址：https://arxiv.org/abs/1510.05970 源码地址：https://github.com/jzbontar/mc-cnn 背景   传统的立体匹配算法包含：匹配代价计算，代价聚合，视差计算，视差精细化四个步骤；针对初始匹配代价计算，本文提出一种基于CNN的patch相似度衡量方法，再结合传统算法中的代价聚合、视差计算与视差精细化步骤预测输入图像的深度图； 模型结构   基于自监督学习的框架引导模型训练，用<Pn×nL(p),Pn×nR(q)><\math
深度学习立体匹配方法：MC-CNN
3D视觉工坊
03-25 2089
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨HawkWang来源丨计算摄影学点击进入—>3D视觉工坊学习交流群一. 前言欢迎你进入我的计算摄影学专栏，最近的很多篇文章我都在讲立体匹配相关的知识。现在让我们打开地图看一看现在所处的位置：经过了很多传统立体匹配算法的学习，我们终于来到了新的篇章：当前进度在开始之前，让我们先翻阅一下我们学习过的经典立体匹配算法ADCensus和SG...
8:MCCNN
qq_41887799的博客
01-24 3443
Automatic Detection and Classification System of Domestic Waste via Multi- model Cascaded Convolutional Neural Network 基于多模型级联卷积神经网络的生活垃圾自动检测分类系统 1.摘要: 生活垃圾分类是我国最近才纳入法律规定的。然而，依靠人力来检测和分类生活垃圾是非常低效的。为此，我们提出了一种多模型级联卷积神经网络(MCCNN)，用于家用垃圾图像的检测和分类。MCCNN结合三个子网(
立体匹配相关.zip
05-03
这些论文和笔记提供了深度学习与立体匹配结合的最新研究成果，对于理解这一领域的前沿技术和挑战，以及推动相关技术的发展具有重要的参考价值。通过深入学习和理解这些论文，不仅可以掌握立体匹配的基本原理，还能...
论文笔记《End-to-End Training of Hybrid CNN-CRF Models for Stereo》用于立体评估的端到端训练的混合CNN-CRF模型
luxiaohai学习专栏
12-21 3578
论文作者提供的源码 https://github.com/VLOGroup 摘要： 1. 介绍 2. 相关工作 3. CNN-CRF 模型 3.1 Unary CNN 3.2 Correlation 3.3 CRF 3.4 Pairwise CNN 4. 训练 5. 实验 5.1 单独组件的性能 5.2 联合训练的好处 5.3 性能测试 6. 总结 摘要： 本文提出一...
论文阅读笔记------摄影测量与深度学习
梦的漂流瓶的博客
07-18 1369
以下为本人论文学习笔记和心得，请勿转载。    摄影测量与深度学习这篇文章是一篇探讨深度学习方法在摄影测量领域可行性的一篇综述性论文，作者是武汉大学遥感学院院士龚健雅，季顺平。    文章首先回顾了摄影测量的历史，然后回顾了深度学习的历史，然后大体说明了摄影测量，计算机视觉，深度学习三者之间的关系。 写到这里本人觉得还没有学习到具体技术细节方面的东西，不过引起了我的一些兴趣，之前我认为写文章尽...
论文笔记 - PSM-Net： Pyramid Stereo Matching Network. CVPR 2018
andyL_05的博客
12-10 1383
Pyramid Stereo Matching Network. CVPR 2018 本文指出，通过立体图像对估计深度已经能够表征为监督学习任务并且通过卷积神经网络解决。但是已有算法都依赖于基于patch的孪生网络，缺乏对上下文信息的利用，难以找到非适定区域关联性。本文提出了金字塔立体匹配网络PSM-Net，主要包括了空间金字塔池化与3D CNN。空间金字塔池化能够通过多尺度累积获取全局语境信息，3DCNN能够通过堆叠沙漏网络及中间结果监督规则化cost volume，获取视差图。 Introduction
mc cnn
萝卜的博客
12-05 1175
1. https://github.com/jzbontar/mc-cnn   2. Download trained networks: KITTI 2012 fast KITTI 2012 accurate KITTI 2015 fast KITTI 2015 accurate Middlebury fast Middlebury accurate   下载1) KITTI 20...
关于MCNN的解读
05-28
一篇关于人群密度和人群技术方法 的优秀论文，写的很好
matlab终止以下代码-MC-CNN:神经网络
05-21
matlab终止以下代码通过训练卷积神经网络比较图像斑块进行立体匹配 资料库包含 用卷积神经网络计算立体声匹配成本的过程； 在立体匹配任务上训练卷积神经网络的程序； 和 基本的立体方法（基于交叉的成本汇总，半全局匹配，左右一致性检查，中值过滤器和双边过滤器）； 在KITTI数据集上运行至少需要6 GB内存的NVIDIA GPU，在Middleiddle数据集上运行需要至少12 GB的NVIDIA GPU。 我们在GTX Titan（仅KITTI），K80和GTX Titan X上测试了该代码。该代码根据BSD 2条款许可发布。 如果您在工作中使用此存储库中的代码，请引用我们的文档。 @article{zbontar2016stereo, title={Stereo matching by training a convolutional neural network to compare image patches}, author={Zbontar, Jure and LeCun, Yann}, journal={Journal of Machine Learning Researc
立体匹配CNN篇（一） ：[LW-CNN] look wider to match image patches by cnn
大青上的博客
12-14 5949
Abstract Introduction related work method A Per-pixel Pyramid Pooling 4P B proposed model 实验 未解决 参考文献Abstract**2016 IEEE SPL 目前在middlebury上排名第二** 提出一种新的CNN 模式，通过一个较大尺寸窗口来学习一个matching cost 与以往的池化层不同（w
MC-CNN: 基于卷积神经网络的立体匹配技术教程
gitblog_00201的博客
08-20 481
MC-CNN: 基于卷积神经网络的立体匹配技术教程 1. 项目介绍 MC-CNN（Multi-scale Convolutional Neural Network），是由Zbontar和LeCun合作开发的一个开源项目，旨在通过训练CNN来比较图像补丁，从而解决立体匹配问题。该技术分别实现了速度优化版（MC-CNN-fst）和精度优先版（MC-CNN-acrt），以适应不同的应用场景需求。它利用深...
【MC-CNN论文翻译】Computing the Stereo Matching Cost with a Convolutional Neural Network
萌新瑟瑟发抖
08-09 4715
Computing the Stereo Matching Cost with a Convolutional Neural Network 摘要 ​ 我们提取出了一种从矫正后的图像对提取深度信息的方法。我们训练一个卷积神经网络来预测两个图像块的匹配程度并计算立体匹配代价。匹配代价细化为基于交叉的代价聚合算法（cross-based cost aggregation）和半全局匹配算法（semigl...
【亲测免费】 mc-cnn：基于卷积神经网络的立体匹配开源项目
最新发布
gitblog_00030的博客
12-23 427
mc-cnn：基于卷积神经网络的立体匹配开源项目 mc-cnn 是一个基于卷积神经网络（CNN）实现的立体匹配开源项目。该项目主要由 Lua 编程语言编写，同时使用了 C++ 和 Python 的一些组件。 1. 项目基础介绍 mc-cnn 项目旨在通过训练卷积神经网络来比较图像块，从而实现立体匹配任务。立体匹配是一种计算机视觉技术，用于确定图像中每个点的三维位置，通过比较一对立体图像中的对应点来...
MC-CNN环境搭建Ubuntu14.04+cuda8.0+cudnn5+opencv2.4+torch7+png++
qq_37641714的博客
01-09 1431
目录 1.NVIDIA显示卡驱动安装 2.cuda8.0安装 2.1. 安装build-essentials 2.2.下载CUDA 8.0. 2.3 添加环境变量 2.4 添加Lib库路径 3.cudnn5 4.opencv2.4 5.png++ 5.1 先安装libpng和zlib 5.2 安装png++ 6.torch 7.MC-CNN 1.NVIDIA显示...
探索MC-CNN：深度学习中的多尺度计算网络
gitblog_00078的博客
04-13 876
探索MC-CNN：深度学习中的多尺度计算网络 如果你对计算机视觉和深度学习感兴趣，那么你可能会对这一项目感到兴奋。这是一个由József Zombor开发的开源框架，主要用于3D形状匹配和识别，基于深度卷积神经网络（CNN）进行多尺度计算。 项目简介 MC-CNN 是一个基于 MATLAB 的库，它实现了多尺度几何一致性（Multi-scale Combinatorial Grouping, MC...
MIT线性代数公开课笔记-行图像与列图像解析
“线性代数-笔记.pdf”是麻省理工学院教授Gilbert Strang的线性代数公开课笔记，涵盖了线性代数的基础知识，包括矩阵理论、方程组、向量空间、行列式、特征值、相似矩阵和正定矩阵等内容。 线性代数是数学的一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值