【论文笔记-Stereo】Pyramid Stereo Matching Network

最新推荐文章于 2022-10-16 16:30:02 发布
置顶 最新推荐文章于 2022-10-16 16:30:02 发布
阅读量2.3k 收藏 8
点赞数 2
分类专栏： cnn 深度学习 Stereo
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhiwei2coder/article/details/79929864
版权
本文深入探讨了Pyramid Stereo Matching Network的论文思想，包括使用ResNet进行特征提取，通过dilated convolution扩大感受野，以及利用Pyramid Pooling Module获取全局上下文信息。文章还详细介绍了构建feature volume的过程，以及如何使用stacked hourglass 3D CNN处理cost volume，并结合不同的hourglass输出计算加权损失。此外，论文中采用了end-to-end的立体估计方法，并在KITTI数据集上取得了最佳成果。笔记部分则涵盖了视差计算的回归方法和应用smooth_l1_loss作为损失函数的原因。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文思想

  1. 使用ResNet提取特征
  2. 用dilated convolution增大感受野
  3. 用Pyramid pooling module，提取各个scale的特征，使之包含global的context信息
  4. 用feature volume shift构建volume
  5. 用stacked hourglass 3D CNN（encoder-decoder）来处理cost volume，在训练过程中使用不同层级的hourglass的输出算加权loss
  6. end-to-end stereo estimation
  7. 在KITTI上取得了当时最好的结果

笔记

结构

architecture

cost_volume

disparity_learning

这里写图片描述

视差计算（回归方法）

DIsparity regression

最低0.47元/天 解锁文章
《RAFT-Stereo：Multilevel Recurrent Field Transforms for Stereo Matching》论文笔记
m_buddy的博客
10-18 2625
参考代码：RAFT-Stereo 1. 概述 导读：RAFT算法是非常经典的立体匹配算法，在光流和立体匹配任务中有着广泛的运用。而这篇文章正是基于RAFT并将其运用到了立体匹配中，并且在如下的几个方面进行改进： 1）相比原生的RAFT算法钟重点关注X轴（W方向）的视差信息，前提是输入的图像对需要事先经过极线校准； 2）在GPU的update阶段使用stride为[8,16,32][8,16,32][8,16,32]的特征图进行运算，这样可以在迭代优化的同时更加增大网络感受野，从而增加对与大范围无/弱纹理区
PSMnet - Pyramid Stereo Matching Network复现笔记（一）
weixin_41035054的博客
06-02 3164
PSMnet - Pyramid Stereo Matching Network复现笔记（一）结构分析CNN模块3D卷积与2D卷积 原文链接:https://arxiv.org/abs/1803.08669 结构分析 CNN模块 3D卷积与2D卷积 以下转载自知乎： 作者：我不坏 链接：https://www.zhihu.com/question/266352189/answer/380438...
Pyramid Stereo Matching Network
03-28
Recent work has shown that depth estimation from a stereo pair of images can be formulated as a supervised learning task to be resolved with convolutional neural networks (CNNs). However, current architectures rely on patch-based Siamese networks, lacking the means to exploit context information for finding correspondence in illposed regions. To tackle this problem, we propose PSMNet, a pyramid stereo matching network consisting of two main modules: spatial pyramid pooling and 3D CNN. The spatial pyramid pooling module takes advantage of the capacity of global context information by aggregating context in different scales and locations to form a cost volume. The 3D CNN learns to regularize cost volume using stacked multiple hourglass networks in conjunction with intermediate supervision. The proposed approach was evaluated on several benchmark datasets. Our method ranked first in the KITTI 2012 and 2015 leaderboards before March 18, 2018. The codes of PSMNet are available at: https: //github.com/JiaRenChang/PSMNet.
论文阅读笔记《Pyramid Stereo Matching Network》
热门推荐
深视
04-15 2万+
该论文提出的算法，在2018年4月14日前仍然是KITTI排行榜的首位，并且是开源的代码，有较高的学习价值。0.摘要最新的研究表明，利用一对立体图像来估算深度信息可以格式化为一个有监督的学习任务，进而通过卷积神经网络来解决。然而，当前基于图块匹配的Siamese网络的架构，缺少利用环境信息取寻找不适定区域（遮挡区域，弱纹理区域等）一致性的能力。为了解决这个问题，本文提出了PSMNet...
《Pyramid Stereo Matching Network》
正在挣扎中的人
10-31 1158
PSMNet详解
Pyramid Stereo Matching Network:CNN module
萝卜的博客
12-10 379
submodule.py class feature_extraction(nn.Module):     def __init__(self):         print('feature_extraction 123')         super(feature_extraction, self).__init__()         self.inplanes = 32       ...
Pyramid Stereo Matching Network代码理解1-Cosnet部分重点理解
01-06
@staticmethod 而使用@staticmethod或@classmethod，不需要实例化，直接类名.方法名()来调用。 空洞残差网络结构 self.conv1 = StackedBlocks(n_blocks=3, in_channels=32, out_channels=32, kernel_size=3, stride=...
PSMNET(Pyramid Stereo Matching Network)介绍
欢迎大家来到新嬉皮士的世界
10-16 4233
对PSMnet网络中主要设计思路和网络结构进行了提炼。包括SSP的设计 3DCNN等
论文阅读笔记 《Pyramid Stereo Matching Network》[2018]
weixin_56127994的博客
09-02 602
最近的研究表明，双目图像的深度估计可以表述为一个监督学习任务，可以用卷积神经网络来解决。为了能在不适定区域，利用上下文信息寻找对应关系，提出了PSM-Net。它包含了两个主要的模块：空间金字塔池化（spatial pyramid pooling）模块和3D卷积模块。空间金字塔池化模块通过聚合不同尺度和位置的上下文，充分利用了全局上下文信息的能力来形成cost volume。3D卷积模块利用堆叠的多个沙漏（hourglass）网络来规范化co
Matching networks
bbbeoy的专栏
09-30 271
https://www.cnblogs.com/veagau/p/12164335.html https://zhuanlan.zhihu.com/p/32101204 https://blog.youkuaiyun.com/bryant_meng/article/details/80662322
匹配网络 Matching Network
ywm_up
12-17 4965
匹配网络 Matching Network 匹配网络其实就是引入注意力机制，通过对 embedding 后的特征计算注意力，利用注意力得分进行分析： 首先也是对支持集和查询集进行 embedding，然后用查询集样本对每个支持集样本计算注意力： a(x^,xi)=ec(f(x^),g(xi))/∑j=1kec(f(x^),g(xj)) a\left(\hat{x}, x_{i}\right)=e^{c\left(f(\hat{x}), g\left(x_{i}\right)\right)} / \sum_
Pyramid Stereo Matching Network:SPP module
萝卜的博客
12-10 618
submodule.py class feature_extraction(nn.Module):     self.branch1 = nn.Sequential(nn.AvgPool2d((64, 64), stride=(64,64)),                                      convbn(128, 32, 1, 1, 0, 1),         ...
Efficient Large-Scale Stereo Matching论文笔记
qq_42744388的博客
10-23 287
只是个人笔记，看到错误还望指正 参考:论文《Efficient Large-Scale Stereo Matching》学习_Orange_Wu的博客-优快云博客 通过稀疏匹配找到精确的匹配点对当作支撑点。稀疏匹配通过9*9像素的Sobel滤波器得到。并进行左右一致性检查。 对支撑点做三角剖分，通过Delaunay三角剖分创建一个二维网格。由很多三角形平面组成。需要求的像素点视差由组成三角平面的支持点估计(把问题转换成了概率估计问题了)，概率生成模型:通过给出的左图参考图和对应的支持点，输出右图中对
论文《Fast spatial–temporal stereo matching for 3Dface reconstruction under speckle pattern projection》
Orange_Wu的博客
09-09 1059
(SCI二区)2019 Abstract 三维(3D)人脸重建可以采用基于测量的方法或基于模型的方法。前者需要特殊的硬件或设备，如结构化光设置。本文提出了一种基于测量的三维人脸重建方法，即一种特殊的结构光时空散斑投影方法。在此基础上，提出了一种新颖、高效的时空立体重建方法，实现了快速、准确的三维人脸重建。为了提高整体的匹配效率，我们的方案由一系列优化策略组成，包括基于人脸裁剪的立体匹配策略、应用于...
PSMNet:Pyramid Stereo Matching Network学习测试笔记04-特征提取部分前向传播
Quasimo
09-19 897
写在前面的话： 暂时没有不代表以后不会回来添加。 1. 金字塔池化（图为2k加载略慢） feature_extraction( (firstconv): Sequential( (0): Sequential( (0): Conv2d(3, 32, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False) ...
元学习系列（四）：Matching Network（匹配网络）
jesseyule的博客
01-02 1万+
对一个小孩子来说，只要你展示了一次斑马的样子，以后他就能指出什么是斑马了，整个学习的过程只有一个样本，但是对深度学习算法来说还远远达不到这种学习程度，所以研究如何通过小样本甚至一个样本进行学习，就成为了few-shot、 one-shot learning的目的。 当然这里的小样本指的是某一类的样本比较小，比如要分辨猫狗鸡，可能鸡的样本只有几个，但是猫狗比较多，在这种情况下模型如何学习才能更好地...
pyramid stereo matching network
03-16
金字塔立体匹配网络（Pyramid Stereo Matching Network）是一种基于深度学习的立体匹配算法，它通过构建金字塔结构来提高匹配精度和效率。该算法使用卷积神经网络（CNN）来提取图像特征，并通过多个尺度的特征图进行立体匹配。它在立体匹配任务中取得了很好的效果，被广泛应用于计算机视觉领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值