Thinking-in-Space 开源项目教程

Thinking-in-Space 开源项目教程

thinking-in-space Official repo and evaluation implementation of VSI-Bench 项目地址: https://gitcode.com/gh_mirrors/th/thinking-in-space

1. 项目介绍

"Thinking-in-Space" 是一个旨在评估多模态大型语言模型（MLLMs）视觉-空间智能的基准测试项目。该项目通过观察视频数据、构建视觉问答（VQA）基准来检查模型的空间记忆，以及探讨MLLMs在实际空间智能方面的优势和局限性。该基准测试包括超过5000个问题-答案对，来源于288个第一人称视频，这些视频是从公共室内3D场景重建数据集ScanNet、ScanNet++和ARKitScenes的验证集中提取的。

2. 项目快速启动

在开始之前，请确保您的环境中已安装了Python 3.10。以下是快速启动项目的步骤：

# 创建一个名为vsibench的虚拟环境
conda create --name vsibench python=3.10

# 激活虚拟环境
conda activate vsibench

# 克隆项目仓库
git clone git@github.com:vision-x-nyu/thinking-in-space.git

# 进入项目目录
cd thinking-in-space

# 更新子模块
git submodule update --init --recursive

# 安装transformers模块
cd transformers
pip install -e .
cd ..

# 安装其他依赖
pip install -e .
pip install s2wrapper@git+https://github.com/bfshi/scaling_on_scales
pip install deepspeed

# 运行评估脚本
bash evaluate_all_in_one.sh --model all --num_processes 8 --benchmark vsibench

请注意，运行评估脚本可能需要一些时间，具体取决于您的硬件配置。

3. 应用案例和最佳实践

• 案例1：空间配置任务 - 使用MLLMs来识别和描述空间中的物体布局。
• 案例2：测量估计任务 - 使用MLLMs来估计物体的大小或空间中两点之间的距离。
• 案例3：空间时间任务 - 使用MLLMs来理解视频中的空间变化和事件序列。

最佳实践包括：

• 使用默认提示和贪心解码来进行零样本评估。
• 对于多项选择题任务使用准确度来评估，对于数值答案任务使用平均相对准确度（MRA）来评估。

4. 典型生态项目

"Thinking-in-Space" 可以与其他开源项目结合使用，例如：

• InternVL2 - 一个用于视觉问答的内部语言模型。
• ViLA - 一个视觉-语言联合学习者。
• LongVA - 一个长视频的视觉-语言模型。

通过整合这些项目，研究人员和开发者可以构建更加复杂和强大的视觉-空间智能应用。

以上就是"Thinking-in-Space"开源项目的教程，希望对您有所帮助。

thinking-in-space Official repo and evaluation implementation of VSI-Bench 项目地址: https://gitcode.com/gh_mirrors/th/thinking-in-space