FoundationStereo项目安装与配置指南

FoundationStereo项目安装与配置指南

FoundationStereo 项目地址: https://gitcode.com/gh_mirrors/fo/FoundationStereo

1. 项目基础介绍

FoundationStereo是一个为零样本立体匹配任务设计的开源项目。该项目旨在通过使用大量多样化的合成训练数据集和自动自我筛选流程，来提高立体匹配算法的零样本泛化能力。主要编程语言为Python。

2. 项目使用的关键技术和框架

该项目采用以下关键技术和框架：

• 深度学习模型：用于处理立体图像对并生成密集视差图。
• 视觉基础模型：通过侧调特征骨干网络，将丰富的单目先验知识迁移至立体匹配任务，减少仿真到现实的差距。
• 长距离上下文推理：用于有效的成本体积滤波。
• ONNX/TensorRT：用于加速推理过程（实验性质）。

3. 项目安装和配置准备工作

在开始安装之前，请确保您的系统中已安装以下软件：

• Python 3.x
• Conda或Miniconda
• Git
• CUDA（与您的NVIDIA GPU兼容的版本）
• cuDNN
• NCCL

3.1 安装步骤

以下为详细安装步骤：

步骤 1：克隆项目仓库

打开命令行窗口，运行以下命令克隆项目：

git clone https://github.com/NVlabs/FoundationStereo.git
cd FoundationStereo

步骤 2：创建并激活Conda环境

在项目根目录下，使用以下命令创建并激活Conda环境：

conda env create -f environment.yml
conda activate foundation_stereo

步骤 3：下载预训练模型权重

从项目提供的链接下载预训练模型权重，并将其放置在项目目录下的./pretrained_models/文件夹中。

步骤 4：运行示例

在项目目录下，运行以下命令来测试示例：

python scripts/run_demo.py --left_file ./assets/left.png --right_file ./assets/right.png --ckpt_dir ./pretrained_models/model_best_bp2.pth --out_dir ./test_outputs/

请确保输入的左右图像是经过校正和去畸变的。

注意事项：

• 输入的左右图像应该是校正和去畸变过的，确保左右图像间的极线是水平的。
• 不要交换左右图像的位置，左图像应来自左侧摄像头。
• 推荐使用无损失压缩的PNG文件格式。
• 本方法在立体RGB图像上效果最佳，但也可用于单色或红外立体图像。

步骤 5：ONNX/TensorRT推理（可选，实验性质）

如果需要使用ONNX/TensorRT进行推理加速，请按照以下步骤操作：

1. 替换代码中的Flash attention（具体步骤见项目说明）。
2. 运行以下命令生成ONNX模型：

export XFORMERS_DISABLED=1
python scripts/make_onnx.py --save_path ./output/foundation_stereo.onnx --ckpt_dir ./pretrained_models/23-51-11/model_best_bp2.pth --height 480 --width 640 --valid_iters 22

3. 将ONNX模型转换为TensorRT引擎：

trtexec --onnx=./output/foundation_stereo.onnx --saveEngine=./output/foundation_stereo.engine --fp16 --verbose

请注意，TensorRT加速的具体效果取决于多种因素，建议根据需要调整参数。

以上步骤即为FoundationStereo项目的安装和配置指南。如果遇到任何问题，请参考项目文档或相关社区进行解决。

FoundationStereo 项目地址: https://gitcode.com/gh_mirrors/fo/FoundationStereo