PSMNet复现细节总结

最新推荐文章于 2023-05-05 21:25:53 发布
原创 最新推荐文章于 2023-05-05 21:25:53 发布 · 6.2k 阅读 · 37 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#PSMNet #人工智能 #深度学习 #立体匹配

本文分享了在毕业论文中复现PSMNet(金字塔立体匹配深度学习网络)的实战经验，包括解决运行中遇到的问题、硬件配置需求、Tensorflow-GPU搭建、代码和数据集下载等关键信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

PSMNet（金字塔立体匹配深度学习网络）作为毕业论文课题，在尝试复现的过程中，出现了许多问题。在解决问题的过程中也学到了很多，本文一是总结过程中的经验，二是希望能够给他人提供一些参考。由于时间和博主的知识能力水平有限，如有错误和不足，还请谅解。
在此着重感谢博主@EmptyCity1995的《运行PSMNet网络时遇到的问题及解决方案》对我的指导，运行中出现的很多问题，在该博文中大部分都能找到对应的解决方案。

  1. 硬件配置方面，复现对显卡及显存有一定要求，否则会像我首次在笔记本搭建的环境上报错：CUDA out of memory.
  2. Tensorflow-GPU的搭建，主要参考了https://zhuanlan.zhihu.com/p/59109217中的方法，过程简单，如果部分安装失败重新键入命令即可。
  3. 代码和数据集的下载，在GitHub中原作者发布的代码和说明中获取，https://github.com/JiaRenChang/PSMNet

一些实验的相关说明，可以在我上传的资源中找到（仅供参考）
或：

链接：https://pan.baidu.com/s/1SKrVdac4uwanNIwpvXF7KA
提取码：tz7t

…………
待更新

putyourheart
关注
PSMnet - Pyramid Stereo Matching Network复现笔记（二）import module、package
weixin_41035054的博客
06-02 1649
PSMnet - Pyramid Stereo Matching Network复现笔记（二）import module、packagepackage、module是什么函数function模块module库文件libraryPython中module和library之间的区别包Package详细说明 复现的时候老是出现import错误，所以记录下～ package、module是什么 函数fun...
PSMnet - Pyramid Stereo Matching Network复现笔记（一）
weixin_41035054的博客
06-02 3187
PSMnet - Pyramid Stereo Matching Network复现笔记（一）结构分析CNN模块3D卷积与2D卷积 原文链接:https://arxiv.org/abs/1803.08669 结构分析 CNN模块 3D卷积与2D卷积 以下转载自知乎： 作者：我不坏 链接：https://www.zhihu.com/question/266352189/answer/380438...
PSM-Net复现
qq_40710634的博客
01-18 1333
复现psmnet遇到的问题
weixin_45748409的博客
05-05 430
解决方案：在KITTILoader.py中import dataloader.preprocess as preprocess。解决：conda install scikit-image。解决：在fintune.py中。
PSMnet - Pyramid Stereo Matching Network复现笔记（三）out of memory的解决办法及内在逻辑
weixin_41035054的博客
06-03 1172
PSMnet 复现笔记（三）out of memory的解决办法及内在逻辑 遇到out of memory 查了下发现一位前辈的系列博客 直接记录转载下 浅谈深度学习:如何计算模型以及中间变量的显存占用大小 https://oldpan.me/archives/how-to-calculate-gpu-memory 如何在Pytorch中精细化利用显存 https://oldpan.me/arch...
PSMNet网络 KITTI2015预训练模型以及KITTI2015数据集
05-15
PSMNet网络进行复现时，需要下载KITTI2015数据集以及预训练权重，但作者是将文件上传至谷歌网盘，下载极其麻烦，为此特提供已下载的预训练模型，下载完成后，不要解压，直接放入网络对应位置即可使用。
PSMNet的sceneflow预训练模型pretrained_sceneflow.tar
03-06
训练网络必备资源，在谷歌网盘里下载的，需要翻墙下载，十分费劲，稀缺资源。
PSMNet代码的一些理解
learninging_csdn的博客
05-31 5230
作为入坑进深度学习的小白，第一篇复现的论文是《Pyramid Stereo Matching Network》,代码已经由作者开源，链接：https://github.com/JiaRenChang/PSMNet。 代码大致读懂，将一些代码po出，做简单注释。 代价卷的生成 refimg_fea = self.feature_extraction(left) targetimg_fea ...
经典的端到端的立体匹配网络：PSMNet（Pyramid Stereo Matching Network）
热门推荐
weixin_45614254的博客
12-05 1万+
论文地址：https://arxiv.org/abs/1803.08669 代码地址：https://github.com/JiaRenChang/PSMNet
PSMNet train
萝卜的博客
12-04 844
data https://lmb.informatik.uni-freiburg.de/resources/datasets/SceneFlowDatasets.en.html     finetune.py parser.add_argument('--datapath', default='/media/jiaren/ImageNet/data_scene_flow_2015/tra...
PSMNet <Pyramid Stereo Matching Network>
05-30
描述了关于PSMNet实验的部分细节。仅供参考。 可能存在错误，以正确为准。 csdn经常把积分自动改，可以到 https://blog.youkuaiyun.com/putyourheart/article/details/95076884 中查看百度网盘链接。
PSMNet:金字塔立体声匹配网络（CVPR2018）
04-29
金字塔立体匹配网络 这个库包含的“代码（PyTorch）”的论文（CVPR 2018）由和。 变更日志 2020/12/20：更新PSMNet：现在支持Torch 1.6.0 / torchvision 0.5.0和python 3.7，删除了不一致的缩进。 二○二○年十二月二十〇日：我们提出的实时立体声可以在这里找到。 引文 @inproceedings{chang2018pyramid, title={Pyramid Stereo Matching Network}, author={Chang, Jia-Ren and Chen, Yong-Sheng}, booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition}, pages={5410--54
PSMNet代码
04-13
Pyramid Stereo Matching Network (PSMNet)的代码。 Recent work has shown that depth estimation from a stereo pair of images can be formulated as a supervised learning task to be resolved with convolutional neural networks (CNNs). However, current architectures rely on patch-based Siamese networks, lacking the means to exploit context information for finding correspondence in illposed regions. To tackle this problem, we propose PSMNet, a pyramid stereo matching network consisting of two main modules: spatial pyramid pooling and 3D CNN. The spatial pyramid pooling module takes advantage of the capacity of global context information by aggregating context in different scales and locations to form a cost volume. The3DCNNlearnstoregularizecostvolumeusingstacked multiple hourglass networks in conjunction with intermediate supervision. The proposed approach was evaluated on several benchmark datasets. Our method ranked first in the KITTI 2012 and 2015 leaderboards before March 18, 2018.
PSMNet debug(二)
萝卜的博客
12-12 736
submodule.py 1. 1 3 384 1248 def convbn(in_planes, out_planes, kernel_size, stride, pad, dilation):     return nn.Sequential(nn.Conv2d(in_planes, out_planes, kernel_size=kernel_size, stride=stride...
PSMnet
lmqwer的博客
01-12 2925
摘要 最近的工作表明，可以将立于体图像对的深度估计表述为一种有监督的学习任务，可以通过卷积神经网络 (CNN) 来解决。然而，当前的架构依赖基于补丁的Siamese网络，缺乏利用上下文信息在不适定区域中查找对应关系的方法。为了解决这个问题，我们提出了 PSMNet，这是一种金字塔立体匹配网络，由两个主要模块组成：空间金字塔池化和 3D CNN。空间金字塔池化模块利用全局上下文信息的容量，通过聚合不同尺度和位置的上下文来形成成本量。 3D CNN 学习使用堆叠的多个沙漏网络结合中间监督来规范...
PSMNet debug(四)
萝卜的博客
12-13 805
  使用视差回归的方式来估算连续的视差图。根据由softmax操作得到预测代价Cd来计算每一个视差值d的可能性。预测视差值d'由每一个视差值*其对应的可能性求和得到，如下式         视差值回归比基于分类的立体匹配方法鲁棒性更强 1.submodule.py class disparityregression(nn.Module):     def __init__(se...
PSMNet debug(六)
萝卜的博客
12-14 951
SPP模块通过结合不同级别的特征有助于立体匹配。为了在视差维度和空间维度上聚合特征信息，我们提出两种类型的3D CNN结构来调整匹配代价卷：基础结构和堆叠的沙漏结构。在基础结构中，网络由简单的残差块构成。基础结构包括12个3*3*3的卷积层。然后我们通过双线性插值的上采样将匹配代价卷的尺寸恢复到H*W*D。最终，我们利用回归的方式来计算尺寸为H*W的视差图 1.basic.py class P...
PSMNet网络
weixin_41874898的博客
05-14 2292
写在前面 第一次接触深度学习立体匹配，一直不知道从何下手，了解到PSMnet是经典的入门方法，在github上找到源码，下载下来却不知道如何跑起来，连数据集怎么下载都不清楚。直到看到这篇文章： 参考：https://blog.youkuaiyun.com/qq_36104364/article/details/80406327 才找到头绪，焦躁的心才平静下来有了方向，感谢作者。 实际操作 （1）github源码：https://github.com/JiaRenChang/PSMNet （2） ...
PSMNET(Pyramid Stereo Matching Network)介绍
欢迎大家来到新嬉皮士的世界
10-16 4406
对PSMnet网络中主要设计思路和网络结构进行了提炼。包括SSP的设计 3DCNN等
PSMNet复现
最新发布
03-08
### PSMNet实现教程 #### 了解PSMNet架构 PSMNet（Pyramid Stereo Matching Network）是一种用于解决立体匹配问题的深度学习模型。该网络通过引入金字塔结构和多尺度特征提取机制，在不同层次上捕捉图像特征，从而提高视差估计精度。 #### 准备环境与数据集 安装必要的依赖库并配置实验环境对于成功复现PSMNet至关重要。通常情况下，推荐使用Python及其科学计算生态系统的工具包如TensorFlow或PyTorch来搭建此项目。此外，还需要准备合适的训练数据集，比如Scene Flow Datasets等公开可用的数据源[^2]。 ```bash pip install torch torchvision numpy matplotlib opencv-python ``` #### 构建基础框架 定义基本模块包括但不限于卷积层、批量归一化层以及激活函数等组件。这些构成了后续复杂操作的基础单元。 ```python import torch.nn as nn class BasicBlock(nn.Module): expansion = 1 def __init__(self, inplanes, planes, stride=1, downsample=None): super(BasicBlock, self).__init__() # 定义具体的操作... def make_layer(block, planes, blocks, stride=1): layers = [] for i in range(blocks): layers.append(block(in_channels, out_channels)) return nn.Sequential(*layers) ``` #### 设计特征提取器 利用预训练权重初始化ResNet或其他适合做特征抽取的任务专用骨干网，并对其进行适当调整以适应特定应用场景下的需求。 ```python from torchvision.models import resnet50 backbone = resnet50(pretrained=True) for param in backbone.parameters(): param.requires_grad_(False) # 冻结参数更新 # 修改最后一层使得输出通道数满足要求 num_ftrs = backbone.fc.in_features backbone.fc = nn.Linear(num_ftrs, num_classes) ``` #### 实现注意力机制 为了增强局部细节感知力，可以在某些阶段加入自注意机制或者空间变换器之类的高级特性。这部分设计有助于提升最终预测质量特别是在处理困难样本时表现尤为明显。 ```python class SpatialTransformer(nn.Module): """Spatial Transformer Layer""" def forward(self, x): # 执行STN逻辑... pass ``` #### 训练过程设置 编写完整的损失函数表达式，选择恰当的学习率策略及优化算法完成整个迭代流程的设计工作。同时考虑到GPU资源的有效利用率等因素合理安排批大小(batch size)，确保稳定收敛的同时尽可能缩短耗时周期。 ```python criterion = nn.SmoothL1Loss() optimizer = optim.Adam(model.parameters(), lr=learning_rate) for epoch in range(epochs): model.train() running_loss = 0.0 for inputs, labels in dataloader: outputs = model(inputs) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() running_loss += loss.item() ``` #### 测试评估指标 最后一步是对已训练完毕后的模型进行全面评测，统计各项性能指数并与已有成果对比分析找出差距所在进而指导下一步改进方向的选择。 ```python model.eval() with torch.no_grad(): correct = 0 total = 0 for images, labels in test_loader: outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy of the network on the %d test images: %.3f %%' % (total, 100 * correct / total)) ```
评论 42
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值