uCO3D 数据集安装与配置指南

uCO3D 数据集安装与配置指南

uco3d Uncommon Objects in 3D dataset 项目地址: https://gitcode.com/gh_mirrors/uc/uco3d

1. 项目基础介绍

uCO3D 是一个开源项目，由 Facebook Research 团队开发，它包含了一个名为 UnCommon Objects in 3D (uCO3D) 的数据集。这个数据集包含了大约 170,000 个转盘视频，捕捉了来自 LVIS 税收对象类别的物体从各个方向的外观。该项目的主要编程语言是 Python。

2. 项目使用的关键技术和框架

• 数据集构建：uCO3D 数据集构建过程中使用了多种技术来保证数据的质量和多样性，包括对象分割、相机姿态估计和多种类型的点云生成。
• 3D 重建：项目包含了针对每个视频的 3D 高斯散点重建技术。
• 视频语言模型：数据集的每个场景都包含了一个由大型视频语言模型生成的长和短描述。
• Python 包管理：使用 Python 的 pip 工具进行依赖管理和安装。
• 数据下载和解压：使用 Python 脚本自动化下载和分解数据集。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统满足以下要求：

• Python 3.6 或更高版本
• pip 19.0 或更高版本
• Git 版本控制系统

如果您的系统尚未安装这些工具，请先安装它们。

详细安装步骤

步骤 1：克隆项目仓库

打开命令行界面，运行以下命令克隆项目仓库：

git clone git@github.com:facebookresearch/uco3d.git

步骤 2：安装依赖

进入项目目录，使用 pip 安装项目依赖：

cd uco3d
pip install -e .

步骤 3：下载数据集

由于数据集体积较大，提供了分块下载的方式。运行以下命令开始下载数据集，并确保替换 <DESTINATION_FOLDER> 为您希望存储数据集的路径：

python dataset_download/download_dataset.py --download_folder <DESTINATION_FOLDER> --checksum_check

如果您想下载一个较小的数据子集进行预览和调试，可以使用以下命令：

python dataset_download/download_dataset.py --download_small_subset --download_folder <SMALL_SUBSET_DESTINATION_FOLDER>

步骤 4：配置环境变量

设置环境变量 UCO3D_DATASET_ROOT，指向包含 uCO3D 数据集的根文件夹：

export UCO3D_DATASET_ROOT=<DESTINATION_FOLDER>

步骤 5：使用数据集

在 Python 脚本中，使用以下代码来创建数据集对象并获取数据：

from uco3d import UCO3DDataset, UCO3DFrameDataBuilder
from uco3d.dataset_utils.utils import get_dataset_root
import os

# 获取数据集根文件夹
dataset_root = get_dataset_root(assert_exists=True)

# 加载数据集
subset_lists_file = os.path.join(dataset_root, "set_lists", "set_lists_3categories-debug.sqlite")
dataset = UCO3DDataset(
    subset_lists_file=subset_lists_file,
    subsets=['train'],
    frame_data_builder=UCO3DFrameDataBuilder(
        apply_alignment=True,
        load_images=True,
        load_depths=False,
        load_masks=True,
        load_depth_masks=True,
        load_gaussian_splats=True,
        gaussian_splats_truncate_background=True,
        load_point_clouds=True,
        load_segmented_point_clouds=True,
        load_sparse_point_clouds=True,
        box_crop=True,
        box_crop_context=0.4,
        load_frames_from_videos=True,
        image_height=800,
        image_width=800,
        undistort_loaded_blobs=True,
    )
)

# 获取单个视频帧
frame_data = dataset[100]

# 获取 RGB 图像
image_rgb = frame_data.image_rgb

# 获取场景的 3D 高斯散点重建
gaussian_splats = frame_data.sequence_gaussian_splats

以上步骤将帮助您成功安装和配置 uCO3D 数据集，并开始使用它进行相关研究和开发工作。

uco3d Uncommon Objects in 3D dataset 项目地址: https://gitcode.com/gh_mirrors/uc/uco3d