VisionReasoner 项目启动与配置教程

VisionReasoner 项目启动与配置教程

VisionReasoner The official implement of "VisionReasoner: Unified Visual Perception and Reasoning via Reinforcement Learning" 项目地址: https://gitcode.com/gh_mirrors/vi/VisionReasoner

1. 项目的目录结构及介绍

VisionReasoner 项目是一个统一视觉感知和推理的强化学习框架。项目的目录结构如下：

• assets/: 存放示例图片和任务相关的资源文件。
• evaluation/: 包含评估不同视觉任务的脚本。
• vision_reasoner/: 核心代码目录，包括模型推理、训练等逻辑。
• .gitignore: 指定Git忽略的文件和目录。
• LICENSE: 项目使用的Apache-2.0许可文件。
• README.md: 项目说明文件，包含项目概述、安装、使用方法等。
• requirements.txt: 项目依赖的Python库列表。
• task_categorization.md: 任务分类文件，详细介绍了支持的任务类型。

2. 项目的启动文件介绍

项目的启动主要通过 vision_reasoner/inference.py 文件进行。该文件是用户与模型交互的入口，支持以下几种启动方式：

• 计数任务：计算图像中感兴趣对象的数量。

  python vision_reasoner/inference.py
  

• 检测/分割任务：对图像中的对象进行检测或分割。

  python vision_reasoner/inference.py --image_path "assets/donuts.png" --query "please segment the donuts"
  

• 需要推理的任务：对图像进行推理分析，回答用户的问题。

  python vision_reasoner/inference.py --image_path "assets/stand_higher.png" --query "find what can make the woman stand higher?"
  

• 视觉问答/标题生成任务：直接回答图像中的问题或生成标题。

  python vision_reasoner/inference.py --image_path "assets/company_name.png" --query "What is name of the company?"
  

• 启用混合推理模式：根据查询的复杂性在直接检测和推理之间智能切换。

  python vision_reasoner/inference.py --image "assets/crowd.png" --query "the person who is facing to the camera" --hybrid_mode
  

3. 项目的配置文件介绍

项目的配置主要通过 pre-commit-config.yaml 文件进行。该文件用于配置pre-commit钩子，它可以帮助自动化代码风格检查、代码格式化等任务。以下是一个基本的配置文件示例：

repos:
  - repo: https://github.com/pre-commit/pre-commit-hooks
   rev: v2.6.0
   hooks:
      - id: autopep8
      - id: flake8

此外，项目的环境配置主要通过 conda 环境文件进行。例如，创建一个名为 visionreasoner_test 的环境，并安装所需的Python版本和库：

conda create -n visionreasoner_test python=3.12
conda activate visionreasoner_test
pip3 install torch torchvision
pip install -r requirements.txt

通过上述步骤，您可以启动和配置VisionReasoner项目，开始您的视觉感知和推理任务。

VisionReasoner The official implement of "VisionReasoner: Unified Visual Perception and Reasoning via Reinforcement Learning" 项目地址: https://gitcode.com/gh_mirrors/vi/VisionReasoner