NYU-V2 RawDataset的数据提取

最新推荐文章于 2025-09-22 00:32:00 发布
原创 最新推荐文章于 2025-09-22 00:32:00 发布 · 3.7k 阅读 · 23 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#NYU数据集

本文介绍如何从NYU-V2 Rawdataset中提取并处理RGB与Depth图像序列，提供GitHub上的代码资源，适合对NYU-V2数据集感兴趣的计算机视觉研究者。

最近做实验需要用到NYU-V2数据集，官网可以直接下载，分别是2.8G的labeled dataset 和428G的Raw dataset.  

很多博客写了labeled dataset的提取方法，但没有Raw dataset相关内容。

Raw dataset 为以下形式：  

/
../bedroom_0001/
../bedroom_0001/a-1294886363.011060-3164794231.dump
../bedroom_0001/a-1294886363.016801-3164794231.dump
                  ...
../bedroom_0001/d-1294886362.665769-3143255701.pgm
../bedroom_0001/d-1294886362.793814-3151264321.pgm
                  ...
../bedroom_0001/r-1294886362.238178-3118787619.ppm
../bedroom_0001/r-1294886362.814111-3152792506.ppm

官网给的Toolbox中有写好的对齐和转换depth和RGB图像的函数，均是matlab代码。我极少使用matlab代码，经过学习和实验后，参考其中的demo写了一个精简的程序，输入对应路径可以直接得到对应的两种图像序列，并按顺序进行编号存储。

GitHub地址：https://github.com/xiao11111111/NYU_Raw_extract

下载全部文件运行run.m即可，注意要修改对应路径。

输出的rgb和depth图像如下，不得不说Raw Dataset的噪声还是很多的：

 

 

 NYU V2 Dataset Raw Data 导入
weixin_39098367的博客
01-30 1105
NYU V2 Dataset Raw Data 导入 做这个单目深度识别的时候需要用到这个数据库 但是网上的教程太少了 特别是Raw Data, 找来找去只有这么一篇https://blog.youkuaiyun.com/billypan/article/details/100926643。但是里面仍然有一些没说清楚的地方。首先可以去官网（直接谷歌 NYU Dataset V2 第一个就是）下载R...
NYU V2数据集提取数据
热门推荐
sinat_26871259的博客
09-03 2万+
NYU v2数据集官方下载地址：https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html NYU v2数据集百度云下载地址：https://pan.baidu.com/s/1rIUbsEUjkZJheEZ5wTb5aA 密码: bfi4 转成图片格式的NYU v2数据集百度云下载地址：https://pan.baidu.com/s/1Ut...
NYU V2数据集提取数据-附件资源
03-05
NYU V2数据集提取数据-附件资源
下载nyuv2数据集
luosnongning的博客
04-06 4274
1、下载nyuv2数据集 cd PATH_TO_DOWNLOAD wget http://datasets.lids.mit.edu/sparse-to-dense/data/nyudepthv2.tar.gz tar -xvf nyudepthv2.tar.gz
MiDaS深度估计数据集评测：NYU Depth V2与KITTI性能对比
最新发布
gitblog_00328的博客
09-22 708
你是否在部署单目深度估计模型时遭遇过"实验室性能优异，真实场景效果骤降"的困境？作为计算机视觉领域的核心任务，深度估计（Depth Estimation）的性能高度依赖训练数据与测试场景的匹配度。本文将通过对比当前最主流的两个深度估计数据集——室内场景的NYU Depth V2与室外场景的KITTI，揭示不同环境下MiDaS模型的性能表现差异，并提供针对性的应用策略。 读完本文你将获得： - 两...
pytorch-nyuv2:PyTorch NYUv2数据集类
05-04
PyTorch NYUv2数据集类 针对NYUv2数据集的PyTorch包装器专注于多任务学习。 可用的数据源：RGB，语义分割（13），表面法线，深度图像。 从以下位置下载数据： 例子 from nyuv2 import NYUv2 from torchvision import transforms t = transforms.Compose([transforms.RandomCrop(400), transforms.ToTensor()]) NYUv2(root="/somepath/NYUv2", download=True, rgb_transform=t, seg_transform=t, sn_transform=t, depth_transform=t) Dataset NYUv2 Number of datapoints: 795 S
NYUV2数据集提取方式
yuyangyg的博客
06-14 8262
提取原图import numpy as np import matplotlib.pyplot as plt import scipy.io as sio import h5py import os f=h5py.File("/home/yuyangyg/DataSet/NYUDataV2/nyu_depth_v2_labeled.mat") images=f["images"] images=n...
NYU Depth Dataset V2数据集的读取
shilling_bai的博客
06-07 1万+
NYUD V2数据集下载网址如下： https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html V1和V2的区别：
【图像增强技术】：NYU V2数据集的高效提取与增强
[【图像增强技术】：NYU V2数据集的高效提取与增强](https://opengraph.githubassets.com/f7aa853cb413451147d1f1318ff46f7989bd59612ec7b23b26720fdc0d967880/hongxiaoy/NYU-Depth-Dataset-V2-Labeled-Data) ...
Windows系统下利用caffe训练NYU Depth数据集（一）
maltliquor的博客
10-22 3541
最近在看论文时看到一篇关于法向量预测的论文，其中训练集所用的是NYU Depth数据集。然而网上NYU Depth相关的资料极少，对于如何将dataset转换为输入数据几乎没有相关资料，在网上逛了一大圈后，总算找到了一些零碎的步骤，在这里做个归纳，方便后面需要相关资料的朋友参考。一、什么是NYU Depth数据集地址：http://cs.nyu.edu/~silberman/datasets/nyu
【深度学习数据集准备】：NYU V2数据集提取与应用的黄金法则
[【深度学习数据集准备】：NYU V2数据集提取与应用的黄金法则](https://img-blog.csdnimg.cn/20210607110216473.png) # 1. NYU V2数据集概览 NYU V2数据集是纽约大学视觉与学习中心发布的深度学习研究用的标准化...
NYUV2数据集的预处理及类别名txt
12-19
NYUV2数据集的预处理，包括提取原RGB图， 深度图，labels以及类别名的txt文件（已生成，可直接用）
NYU Depth Dataset V2纽约大学深度数据集V2-数据集
03-04
NYU Depth Dataset V2 is provided by NYU.本数据集由纽约大学提供。 indoorsegmentationandsupportinferencefromRGBDImages.pdf
run_rawExtract:将多个ThermoRawFileParser作业提交到PBS队列并管理并行性
04-17
qsub_all 自动将ThermoRawFileParser PBS作业提交到队列
nyu_depth_v2_labeled.mat
02-23
nyu_depth_v2_labeled.mat
NYU Depth Dataset V2
qq_41537900的博客
06-01 3729
NYU Depth Dataset V2数据集 python提取
【数据集】——NYU Depth Dataset V2简介
怡宝2号
10-28 1万+
简介： NYU-Depth V2数据集由微软Kinect的RGB和Depth摄像机记录的各种室内场景的视频序列组成。它的特点: 1449张标注的RGB图片和深度图 来自3个城市，464个场景 407024张没有标注的图片 每个对象都有一个类和一个实例号(cup1、cup2、cup3等)，像实例分割 数据集有几个部分: 标签:视频数据的一个子集，带有密集的多类标签。这些数据也经过预处理，以填补缺失的深度标签。 Raw: Kinect提供的原始rgb、深度和加速度计数据。 工具箱:用于操作数据和标签的有用函
Pytorch语义分割网络的详细训练过程——以NYUv2数据集为例
python_plus的博客
03-08 2673
本文详细讲解了使用Pytorch框架训练语义分割网络的四步过程，并以NYUv2数据集为例展示了全部代码
nyu_depth = h5py.File(args.nyu + '/nyu_depth_v2_labeled.mat', 'r')
05-07
<think>好的，我现在需要帮助用户解决他们在运行create_train.py脚本时遇到的缺少--nyu和--dataset参数的问题，同时他们还想了解如何使用nyu_depth变量加载数据文件。让我先回顾之前的对话历史，确保我理解用户的需求。 首先，用户之前得到了一个分步解决方案，涵盖了参数错误的修正、代码示例、运行命令以及路径验证等内容。现在用户进一步询问，特别提到了h5py加载nyu_depth_v2_labeled.mat文件的示例。这可能意味着他们在数据加载的具体实现上遇到了问题，或者希望看到如何结合参数使用h5py来加载NYU数据集。 用户当前的查询明确指出，他们想解决参数错误，并且理解如何正确使用nyu_depth变量加载数据。所以，我需要确保回答不仅包含参数处理的修正，还要提供具体的代码示例来加载数据文件，特别是如何处理--nyu参数指向的.mat文件，并提取nyu_depth变量。 首先，我需要检查之前提供的解决方案是否已经涵盖了这些方面。之前的回答中提到了参数定义的修正，路径验证，以及如何运行脚本，但可能没有具体展示如何用h5py加载.mat文件。因此，这次需要补充这部分内容，特别是结合用户提到的nyu_depth变量。 接下来，我需要确保代码示例的正确性。用户提到使用h5py加载nyu_depth_v2_labeled.mat文件，这是因为MATLAB的.mat文件在版本7.3及以上需要使用h5py库来读取，而不是scipy.io.loadmat。因此，正确的做法是使用h5py读取这些文件，并提取所需的变量，比如nyu_depth。 同时，用户可能需要了解如何处理这些数据，比如数据预处理、存储路径等，所以应该在示例中包含这些步骤。此外，用户可能希望将处理后的数据保存到--dataset参数指定的路径，因此需要将数据加载和数据集参数的使用结合起来。 还需要考虑错误处理，比如文件是否存在、变量是否正确读取等，这可以通过try-except块来实现，提高代码的健壮性。同时，建议用户使用绝对路径，避免相对路径可能带来的问题。 另外，用户可能对参数的具体使用场景有疑问，例如如何将NYU数据集路径和自定义数据集路径分开处理。需要解释每个参数的作用，--nyu用于原始数据加载，--dataset用于保存处理后的数据，这样用户能清楚区分两者的用途。 最后，确保回答结构清晰，分步骤说明，并包含可运行的代码示例，方便用户直接复制和测试。同时，生成的相关问题需要围绕数据加载、参数使用、错误处理等方面，帮助用户进一步理解和解决问题。</think>### **分步解决方案：结合参数处理与NYU数据集加载** --- #### **1. 完整脚本修正与数据加载实现** ```python import argparse import h5py import numpy as np import os from pathlib import Path def parse_args(): parser = argparse.ArgumentParser(description="NYU Depth V2数据集处理器") # === 必需参数定义 === parser.add_argument("--nyu", type=Path, required=True, help="NYU Depth V2的.mat文件路径，示例：/data/nyu_depth_v2_labeled.mat") parser.add_argument("--dataset", type=Path, required=True, help="预处理后数据的存储路径，示例：./processed_data") # === 可选参数 === parser.add_argument("--batch_size", type=int, default=32, help="训练时的批量大小（默认：32）") return parser.parse_args() def load_nyu_depth(mat_path: Path): """ 加载并解析NYU深度数据 """ try: with h5py.File(mat_path, 'r') as f: # 关键步骤：通过h5py访问深度数据 nyu_depth = np.array(f['depths']).transpose((3,2,1,0)) # 维度调整为(N,H,W,C) print(f"成功加载深度数据，形状：{nyu_depth.shape}") return nyu_depth except Exception as e: raise RuntimeError(f"加载{mat_path}失败: {str(e)}") def main(): args = parse_args() # 强制创建输出目录 args.dataset.mkdir(parents=True, exist_ok=True) # === 数据加载 === raw_data = load_nyu_depth(args.nyu) # === 数据预处理示例 === normalized_data = (raw_data - np.min(raw_data)) / (np.max(raw_data) - np.min(raw_data)) # === 保存预处理结果 === output_path = args.dataset / "nyu_depth_normalized.npy" np.save(output_path, normalized_data) print(f"预处理数据已保存至：{output_path.resolve()}") if __name__ == "__main__": main() ``` --- #### **2. 关键操作解释** ##### **2.1 参数使用要点** - `--nyu`：指向`nyu_depth_v2_labeled.mat`原始文件 ```bash # 实际运行示例 python create_train.py \ --nyu /datasets/nyu_depth_v2_labeled.mat \ --dataset ./training_data ``` - `--dataset`：自动创建目标目录（通过`mkdir(parents=True, exist_ok=True)`） ##### **2.2 数据维度调整原理** NYU Depth V2的MAT文件使用HDF5存储，数据维度需转换： ```python # 原始HDF5维度顺序：(C, H, W, N) # 转换为标准深度学习格式：(N, H, W, C) nyu_depth = np.array(f['depths']).transpose((3,2,1,0)) ``` ##### **2.3 路径验证增强** ```python # 在parse_args()中添加： if not args.nyu.exists(): raise FileNotFoundError(f"NYU文件不存在: {args.nyu}") if not args.nyu.suffix == '.mat': raise ValueError("--nyu参数必须指向.mat文件") ``` --- #### **3. 数据加载可视化验证** ```python # 在main()中添加可视化检查 import matplotlib.pyplot as plt sample_depth = raw_data[0,:,:,0] # 取第一个样本的深度通道 plt.imshow(sample_depth, cmap='viridis') plt.colorbar() plt.savefig(args.dataset / "depth_sample.png") ``` --- #### **4. HDF5数据结构详解** NYU Depth V2的.mat文件包含多个关键字段[^1]： | 字段名 | 数据类型 | 维度 | 描述 | |---------------|----------|--------------|----------------------| | `depths` | float32 | (424, 512, N)| 原始深度图 | | `images` | uint8 | (424, 512, 3, N)| RGB图像 | | `labels` | int32 | (424, 512, N)| 语义分割标签 | --- #### **5. 完整工作流程** ```mermaid graph LR A[输入--nyu参数] --> B{h5py加载.mat文件} B --> C[提取nyu_depth数据] C --> D[数据标准化处理] D --> E[保存到--dataset路径] E --> F[完成训练准备] ``` --- ### **相关问题** 1. **如何处理NYU数据集的RGB图像与深度图对齐问题？** → 需使用相机内参进行配准[^2] 2. **h5py与scipy.io.loadmat有何区别？** → `h5py`用于HDF5格式(v7.3+)，`loadmat`仅支持旧版本MAT文件[^3] 3. **如何批量处理NYU数据集中的多个场景？** → 可遍历`scenes`目录中的子文件夹： ```python for scene_dir in Path(args.nyu).glob("scenes/*"): process_scene(scene_dir) ``` 4. **深度图预处理的最佳实践是什么？** → 常用方法包括：对数转换、尺度裁剪、空洞填充等[^4] --- ### **错误排查指南** ```python try: raw_data = load_nyu_depth(args.nyu) except RuntimeError as e: print(f"数据加载失败，请检查：") print(f"1. 文件路径是否正确：{args.nyu.exists()}") print(f"2. 文件权限：{os.access(args.nyu, os.R_OK)}") print(f"3. HDF5库版本：h5py=={h5py.__version__}") raise ``` --- **引用规范** [^1]: NYU Depth Dataset V2官方文档 [^2]: Eigen D, et al. Depth map prediction from a single image using a multi-scale deep network. NIPS 2014. [^3]: h5py官方文档第2章"HDF5 Basics" [^4]: Chen L C, et al. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets. TPAMI 2017.
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值