【论文笔记-Stereo】Pyramid Stereo Matching Network

最新推荐文章于 2022-09-02 14:34:06 发布
原创 最新推荐文章于 2022-09-02 14:34:06 发布 · 置顶 · 2.4k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了Pyramid Stereo Matching Network的论文思想，包括使用ResNet进行特征提取，通过dilated convolution扩大感受野，以及利用Pyramid Pooling Module获取全局上下文信息。文章还详细介绍了构建feature volume的过程，以及如何使用stacked hourglass 3D CNN处理cost volume，并结合不同的hourglass输出计算加权损失。此外，论文中采用了end-to-end的立体估计方法，并在KITTI数据集上取得了最佳成果。笔记部分则涵盖了视差计算的回归方法和应用smooth_l1_loss作为损失函数的原因。

论文思想

  1. 使用ResNet提取特征
  2. 用dilated convolution增大感受野
  3. 用Pyramid pooling module，提取各个scale的特征，使之包含global的context信息
  4. 用feature volume shift构建volume
  5. 用stacked hourglass 3D CNN（encoder-decoder）来处理cost volume，在训练过程中使用不同层级的hourglass的输出算加权loss
  6. end-to-end stereo estimation
  7. 在KITTI上取得了当时最好的结果

笔记

结构

architecture

cost_volume

disparity_learning

这里写图片描述

视差计算（回归方法）

DIsparity regression

最低0.47元/天 解锁文章
PSMNET(Pyramid Stereo Matching Network)介绍
欢迎大家来到新嬉皮士的世界
10-16 4576
对PSMnet网络中主要设计思路和网络结构进行了提炼。包括SSP的设计 3DCNN等
元学习系列（四）：Matching Network（匹配网络）
jesseyule的博客
01-02 1万+
对一个小孩子来说，只要你展示了一次斑马的样子，以后他就能指出什么是斑马了，整个学习的过程只有一个样本，但是对深度学习算法来说还远远达不到这种学习程度，所以研究如何通过小样本甚至一个样本进行学习，就成为了few-shot、 one-shot learning的目的。 当然这里的小样本指的是某一类的样本比较小，比如要分辨猫狗鸡，可能鸡的样本只有几个，但是猫狗比较多，在这种情况下模型如何学习才能更好地...
Pyramid Stereo Matching Network
03-28
Recent work has shown that depth estimation from a stereo pair of images can be formulated as a supervised learning task to be resolved with convolutional neural networks (CNNs). However, current architectures rely on patch-based Siamese networks, lacking the means to exploit context information for finding correspondence in illposed regions. To tackle this problem, we propose PSMNet, a pyramid stereo matching network consisting of two main modules: spatial pyramid pooling and 3D CNN. The spatial pyramid pooling module takes advantage of the capacity of global context information by aggregating context in different scales and locations to form a cost volume. The 3D CNN learns to regularize cost volume using stacked multiple hourglass networks in conjunction with intermediate supervision. The proposed approach was evaluated on several benchmark datasets. Our method ranked first in the KITTI 2012 and 2015 leaderboards before March 18, 2018. The codes of PSMNet are available at: https: //github.com/JiaRenChang/PSMNet.
论文阅读笔记《Pyramid Stereo Matching Network》
热门推荐
深视
04-15 2万+
该论文提出的算法，在2018年4月14日前仍然是KITTI排行榜的首位，并且是开源的代码，有较高的学习价值。0.摘要最新的研究表明，利用一对立体图像来估算深度信息可以格式化为一个有监督的学习任务，进而通过卷积神经网络来解决。然而，当前基于图块匹配的Siamese网络的架构，缺少利用环境信息取寻找不适定区域（遮挡区域，弱纹理区域等）一致性的能力。为了解决这个问题，本文提出了PSMNet...
《Pyramid Stereo Matching Network》
正在挣扎中的人
10-31 1241
PSMNet详解
论文笔记 - RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching
andyL_05的博客
05-14 3817
这篇博客是对论文RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching的阅读笔记。 论文地址位于，代码已开源，位于： RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching 本文是一篇将光流算法RAFT迁移至立体匹配领域的文章，基于光路估计网络RAFT，提出了多级卷积GRU实现立体匹配的代价传播。文章对RAFT进行优化，并得到了一个高精度
论文阅读《PSM-Net: Pyramid Stereo Matching Network》
薛定谔的猫头咕咕咕
03-31 1756
论文地址：https://arxiv.org/abs/1803.08669 代码地址:https://github.com/JiaRenChang/PSMNet 背景   为了提高模型在不确定区域（遮挡与弱纹理）的效果，本文提出了一个PSM-Net，该网络包含金字塔池化与3D正则化层；其中金字塔池化模块有利于模型提取更丰富的上下文信息，而U-Net结构的3D正则化层有效减小了模型的计算量； 模型结构   左右图像同时送进权重共享的特征提取CNN中得到特征图；通过拼接左右特征图来构建代价体；然后通过3
论文笔记 - PSM-Net： Pyramid Stereo Matching Network. CVPR 2018
andyL_05的博客
12-10 1374
Pyramid Stereo Matching Network. CVPR 2018 本文指出，通过立体图像对估计深度已经能够表征为监督学习任务并且通过卷积神经网络解决。但是已有算法都依赖于基于patch的孪生网络，缺乏对上下文信息的利用，难以找到非适定区域关联性。本文提出了金字塔立体匹配网络PSM-Net，主要包括了空间金字塔池化与3D CNN。空间金字塔池化能够通过多尺度累积获取全局语境信息，3DCNN能够通过堆叠沙漏网络及中间结果监督规则化cost volume，获取视差图。 Introduction
Pyramid Stereo Matching Network:CNN module
萝卜的博客
12-10 401
submodule.py class feature_extraction(nn.Module):     def __init__(self):         print('feature_extraction 123')         super(feature_extraction, self).__init__()         self.inplanes = 32       ...
论文阅读笔记 《Pyramid Stereo Matching Network》[2018]
weixin_56127994的博客
09-02 639
最近的研究表明，双目图像的深度估计可以表述为一个监督学习任务，可以用卷积神经网络来解决。为了能在不适定区域，利用上下文信息寻找对应关系，提出了PSM-Net。它包含了两个主要的模块：空间金字塔池化（spatial pyramid pooling）模块和3D卷积模块。空间金字塔池化模块通过聚合不同尺度和位置的上下文，充分利用了全局上下文信息的能力来形成cost volume。3D卷积模块利用堆叠的多个沙漏（hourglass）网络来规范化co
Matching networks
bbbeoy的专栏
09-30 297
https://www.cnblogs.com/veagau/p/12164335.html https://zhuanlan.zhihu.com/p/32101204 https://blog.youkuaiyun.com/bryant_meng/article/details/80662322
匹配网络 Matching Network
ywm_up
12-17 5238
匹配网络 Matching Network 匹配网络其实就是引入注意力机制，通过对 embedding 后的特征计算注意力，利用注意力得分进行分析： 首先也是对支持集和查询集进行 embedding，然后用查询集样本对每个支持集样本计算注意力： a(x^,xi)=ec(f(x^),g(xi))/∑j=1kec(f(x^),g(xj)) a\left(\hat{x}, x_{i}\right)=e^{c\left(f(\hat{x}), g\left(x_{i}\right)\right)} / \sum_
Pyramid Stereo Matching Network:SPP module
萝卜的博客
12-10 644
submodule.py class feature_extraction(nn.Module):     self.branch1 = nn.Sequential(nn.AvgPool2d((64, 64), stride=(64,64)),                                      convbn(128, 32, 1, 1, 0, 1),         ...
Efficient Large-Scale Stereo Matching论文笔记
qq_42744388的博客
10-23 311
只是个人笔记，看到错误还望指正 参考:论文《Efficient Large-Scale Stereo Matching》学习_Orange_Wu的博客-优快云博客 通过稀疏匹配找到精确的匹配点对当作支撑点。稀疏匹配通过9*9像素的Sobel滤波器得到。并进行左右一致性检查。 对支撑点做三角剖分，通过Delaunay三角剖分创建一个二维网格。由很多三角形平面组成。需要求的像素点视差由组成三角平面的支持点估计(把问题转换成了概率估计问题了)，概率生成模型:通过给出的左图参考图和对应的支持点，输出右图中对
论文《Fast spatial–temporal stereo matching for 3Dface reconstruction under speckle pattern projection》
Orange_Wu的博客
09-09 1130
(SCI二区)2019 Abstract 三维(3D)人脸重建可以采用基于测量的方法或基于模型的方法。前者需要特殊的硬件或设备，如结构化光设置。本文提出了一种基于测量的三维人脸重建方法，即一种特殊的结构光时空散斑投影方法。在此基础上，提出了一种新颖、高效的时空立体重建方法，实现了快速、准确的三维人脸重建。为了提高整体的匹配效率，我们的方案由一系列优化策略组成，包括基于人脸裁剪的立体匹配策略、应用于...
PSMNet:Pyramid Stereo Matching Network学习测试笔记04-特征提取部分前向传播
Quasimo
09-19 919
写在前面的话： 暂时没有不代表以后不会回来添加。 1. 金字塔池化（图为2k加载略慢） feature_extraction( (firstconv): Sequential( (0): Sequential( (0): Conv2d(3, 32, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False) ...
pyramid stereo matching network
03-16
金字塔立体匹配网络（Pyramid Stereo Matching Network）是一种基于深度学习的立体匹配算法，它通过构建金字塔结构来提高匹配精度和效率。该算法使用卷积神经网络（CNN）来提取图像特征，并通过多个尺度的特征图进行立体匹配。它在立体匹配任务中取得了很好的效果，被广泛应用于计算机视觉领域。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值