AI论文探讨室·A+·第11期 DeepMVS: Learning Multi-view Stereopsis

DeepMVS:学习多视图立体声
最新推荐文章于 2024-08-21 08:34:06 发布
原创 最新推荐文章于 2024-08-21 08:34:06 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种名为DeepMVS的网络，它能从任意数量的输入图像中预测高质量的视差图。该方法在真实数据集上进行预训练，并在无序图像集合中收集信息，利用VGG-19网络融合多层特征。在ETH3D数据集上的实验显示，DeepMVS在接近无纹理和薄结构区域的表现尤为突出。

《DeepMVS: Learning Multi-view Stereopsis》

主要解决的问题：输入任意数量的姿态图像来预测高质量的视差图

主要描述

       主要包含三部分：（1）在真实统一数据集上进行有监督的预训练；（2）提出一个有效的方法在无序的图像数据集中收集信息；（3）使用预训练的VGG-19网络来融入多层的特征。通过在 ETH3D数据集上对论文中提出的DeepMVS网络，进行对比实验，表现出良好的结果，尤其在接近没有纹理和薄结构上。

系统架构

特征聚集

实验效果对比

结论

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：

下载我们视频中代码和相关讲义，请在公众号回复：计算机视觉课程资料

 

【论文精读】CL-MVSNet: Unsupervised Multi-view Stereo with Dual-level Contrastive Learning
YuhsiHu的博客
11-13 1545
无监督多视图立体方法最近取得了可喜的进展。然而，以前的方法主要依赖于光度一致性假设，这可能会受到两个限制：无法区分的区域和依赖于视图的效果，例如低纹理区域和反射。为了解决这些问题，我们提出了一种新的双层对比学习方法，称为 CL-MVSNet。具体来说，我们的模型将两个对比分支集成到无监督 MVS 框架中，以构建额外的监督信号。一方面，我们提出了图像级对比分支来引导模型获得更多的上下文感知，从而在不可区分的区域中实现更完整的深度估计。
FLARE: Feed-forward Geometry, Appearance and Camera Estimation from Uncalibrated Sparse Views阅读笔记
最新发布
2403_85515624的博客
04-24 938
FLARE，是一种前馈模型，旨在从未经校准的稀疏视角图像（即最少仅需 2 到 8 张输入图像）中推断出高质量的相机姿态和三维几何信息，这在现实世界的应用中是一个具有挑战性但又切实可行的设定。FLARE的解决方案采用了以相机姿态作为关键桥梁的级联学习范式认识到相机姿态在将三维结构映射到二维图像平面中所起的关键作用。具体而言，FLARE 从相机姿态估计开始，其结果为后续几何结构和外观的学习提供条件，并通过几何重建和新视角合成的目标进行优化。
文章阅读 - DeepMVS: Learning Multi-view Stereopsis (CVPR 2018)
qq_38425638的博客
12-07 4722
背景 传统的MVS难以处理弱纹理区域、瘦小的结构以及反射和投射的表面，需要基于深度学习的算法。 相关工作 传统的MVS 最近较好的算法：鲁棒的邻近视角选择 [1]、visibility一致性 [2]、clustering-based技术 [3-4] 缺点：难以处理弱纹理和反射表面，没有利用光照、阴影以及语义信息等。 基于学习的MVS 以plane-sweep volumn为输入，计算...
DeepMVS学习笔记
跨专业视觉研究生FW一个~
11-10 860
多视图立体视觉（MVS）的重建方法是从已知相机位姿和一系列校准过的图像集中，重建视差图。
Multi-view Learning 多视角学习入门
bbbeoy的专栏
10-31 3090
https://blog.youkuaiyun.com/Danliwoo/article/details/79278574 标准协同训练算法的步骤为： 输入：标记数据集L，未标记数据集U。 用L1训练视图X1上的分类器f1，用L2训练视图X2上的分类器f2； 用f1和f2分别对未标记数据U进行分类； 把f1对U的分类结果中，前k个最置信的数据（正例p个反例n个）及其分类结果加入L2；把f2对U的分类...
推荐开源项目：深度多视图立体匹配——DeepMVS
gitblog_00085的博客
08-21 1117
推荐开源项目：深度多视图立体匹配——DeepMVS 在三维重建和计算机视觉领域，如何从多个不同视角的图像中准确估计场景的深度信息一直是一个挑战。今天，我们要向大家介绍一个前沿的解决方案——DeepMVS，它通过深度学习的方法，革新了传统多视图立体匹配的技术路径。 项目介绍 DeepMVS是一个基于深度卷积神经网络的系统，旨在从任意数量的无序图像序列中，结合已知或估算出的相机位姿，学习并估计像素级的...
【CVPR2022】论文列表与下载——PartThree
TomRen
06-12 5159
【CVPR2022】完整论文列表
【AI视野·今日CV 计算机视觉论文速览 第236期】Tue, 28 Sep 2021
TomRen
09-28 2350
AI视野·今日CS.CV 计算机视觉论文速览 PASS自监督学习数据集、压缩视觉表示、视觉语言模型、matting、树状架构、注意力数据集。
多视图立体匹配MVSNet网络解析：保姆级教程
qq_29462849的博客
04-28 3391
论文题目：MVSNet: Depth Inference for Unstructured Multi-view Stereo, (ECCV2018 Oral)开源代码(tensorflo...
DeepMVS 项目使用教程
gitblog_01101的博客
08-20 451
DeepMVS 项目使用教程 1. 项目的目录结构及介绍 DeepMVS 项目的目录结构如下： DeepMVS/ ├── img/ ├── python/ │ ├── gitignore │ ├── LICENSE │ ├── README.md │ └── ... ├── LICENSE ├── README.md └── ... 目录介绍 img/: 存放项目相关的图像文件...
探秘深度三维重建：深潜至DeepMVS
gitblog_00001的博客
06-17 770
探秘深度三维重建：深潜至DeepMVS 去发现同类优质开源项目:https://gitcode.com/ 在数字时代的浪潮中，将二维图像转化为立体世界的梦想已成为现实。随着深度学习的飞速发展，3D重构领域也迎来了革新者——DeepMVS。本篇，让我们一同揭秘这一打破传统框架的开源项目，探讨其技术核心，应用场景，并揭示它如何成为加速3D世界构建的利器。 项目介绍 DeepMVS，一款基于深度学习的先...
文章阅读 - MVSNet: Depth Inference for Unstructured Multi-view Stereo (ECCV 2018)
qq_38425638的博客
12-24 7546
相关工作 MVS算法分类 直接点云重建 [1-2]，缺点：难以做到充分的并行处理 volumetric重建 [3-4]，缺点：空间离散带来的误差以及内存消耗较大 深度图重建 [5-9] 基于学习的stereo 匹配两个patch [10-12]、cost正则化 [13-15] 基于学习的MVS SurfaceNet [3]、LSM [4]（只能用于小尺度场景） 网络结构 需要...
arXiv综述论文“Image Segmentation Using Deep Learning: A Survey”
yorkhunter的博客
01-20 4027
arXiv于2020年1月15日上传图像分割综述论文“Image Segmentation Using Deep Learning: A Survey“。 摘要：图像分割是图像处理和计算机视觉中的关键主题，其应用包括场景理解、医学图像分析、机器人感知、视频监控、增强现实和图像压缩等。已经开发了用于图像分割的各种算法。最近，由于深度学习模型在各种视觉应用中的成功，有大量工作在用深度学习模型开发图像分...
【三维重建】结合深度学习的三维重建/SLAM（一）
热门推荐
格物致知
03-03 1万+
经典的计算机视觉问题是3-D重建。 基本上可以分成两种路径：一是多视角重建，二是运动重建。前者有一个经典的方法是多视角立体视觉（MVS，multiple view stereo），就是多帧的立体匹配，这样采用CNN模型来解决也合理。传统MVS的方法可以分成两种：区域增长（region growing）和深度融合（depth-fusion）。soccor on tabke 等效果惊艳，在现有的5G...
论文阅读《Learning Unsupervised Multi-View Stereopsis via Robust Photometric Consistency》
薛定谔的猫头咕咕咕
03-03 778
论文地址：Learning Unsupervised Multi-View Stereopsis via Robust Photometric Consistency 一、摘要   有监督的MVS方法在模型训练时依赖于数据的标签，但获取3D几何标签的过程是困难的；为此，本文利用多个视图之间的光度一致性作为模型的监督信号；由于遮挡和视图间的光照信息不同，只使用光照一致性不足以约束模型；为此，在损失函数中增加了梯度衡量项，提升模型的鲁棒性； 二、网络结构   模型结构与邮件的的MVSNet相似，MMM 张
【三维深度学习】多视角立体视觉模型R-MVSNet
TomRen
02-01 5530
【三维深度学习】基于GRU递归方法对cost volum进行处理的R-MVSNet，实现更为精确的多视角深度估计。
[论文笔记]Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference-CVPR 2019
weixin_44792500的博客
07-04 2730
Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference 1. Intro Multi-view stereo (MVS) 目标是根据多角度图像以及校准的相机，恢复出三维场景。新的机器学习(learned)方法在MVS中相比传统方法表现出色。然而在大多数learned MVS方法中，由于cost volume re...
【三维深度学习】多视角立体视觉网络MVSNet
TomRen
09-30 6383
MVSNet提出了一种基于多视角图像和相机参数重建出目标深度图的有效方法。利用可微的单应性矩阵架起了二维图像特征和三维代价空间的桥梁，实现了端到端的多视角立体视觉。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值