CUT3R 项目使用与启动教程

CUT3R 项目使用与启动教程

CUT3R Official implementation of Continuous 3D Perception Model with Persistent State 项目地址: https://gitcode.com/gh_mirrors/cu/CUT3R

1. 项目介绍

CUT3R（Continuous 3D Perception Model with Persistent State）是一个开源项目，旨在实现连续的三维感知模型，并具有持久状态。该项目基于CVPR 2025的研究成果，由Qianqian Wang、Yifei Zhang、Aleksander Holynski、Alexei A Efros和Angjoo Kanazawa共同开发。CUT3R通过官方提供的代码库，为研究者和开发者提供了一个强大的工具，用于处理和解析三维数据。

2. 项目快速启动

环境搭建

首先，您需要克隆CUT3R项目到本地环境：

git clone https://github.com/CUT3R/CUT3R.git
cd CUT3R

接下来，创建一个Python环境并安装必要的依赖：

conda create -n cut3r python=3.11 cmake=3.14.0
conda activate cut3r
conda install pytorch torchvision pytorch-cuda=12.1 -c pytorch -c nvidia
pip install -r requirements.txt

请注意，您需要根据自己系统的CUDA版本选择正确的pytorch-cuda版本。

编译CUDA核心

CUT3R使用RoPE（Region Proposal and Object Detection with Persistent State）模型，需要编译CUDA核心：

cd src/croco/models/curope/
python setup.py build_ext --inplace
cd ../../..

下载预训练模型

CUT3R提供了预训练模型，可以从Google Drive下载：

cd src
# 对于224线性ckpt
gdown --fuzzy https://drive.google.com/file/d/11dAgFkWHpaOHsR6iuitlB_v4NFFBrWjy/view
usp=drive_link
# 对于512 dpt ckpt
gdown --fuzzy https://drive.google.com/file/d/1Asz-ZB3FfpzZYwunhQvNPZEUA8XUNAYD/view
usp=drive_link
cd ..

运行推理

使用以下命令运行推理代码：

python demo.py --model_path MODEL_PATH --seq_path SEQ_PATH --size SIZE --vis_threshold VIS_THRESHOLD --output_dir OUT_DIR

替换MODEL_PATH、SEQ_PATH、SIZE、VIS_THRESHOLD和OUT_DIR为实际的路径和值。

3. 应用案例和最佳实践

CUT3R可以应用于多种场景，包括但不限于：

• 实时三维重建
• 动态场景理解
• 虚拟现实和增强现实

最佳实践建议：

• 使用高分辨率输入以提高重建质量
• 在多线程环境中运行以提高效率
• 通过调整vis_threshold参数来控制可视化的精度

4. 典型生态项目

CUT3R项目是基于以下开源项目构建的：

• DUSt3R
• MonST3R
• Spann3R
• Viser

这些项目为CUT3R提供了基础架构和算法支持，共同构成了三维感知领域的生态系统。

CUT3R Official implementation of Continuous 3D Perception Model with Persistent State 项目地址: https://gitcode.com/gh_mirrors/cu/CUT3R