Seg-Zero 项目使用教程

Seg-Zero 项目使用教程

Seg-Zero Project Page For "Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement" 项目地址: https://gitcode.com/gh_mirrors/se/Seg-Zero

1. 项目介绍

Seg-Zero 是一个基于认知强化学习来实现推理链指导分割的开源项目。它通过生成推理链在产生最终分割掩模之前展示出测试时的推理能力。Seg-Zero 采用 reinforcement learning 进行训练，不依赖任何显式的监督推理数据。与监督微调相比，Seg-Zero 在域内和跨域数据上都表现出更优的性能。

2. 项目快速启动

环境准备

首先，您需要安装 Python 3.11 环境，可以使用以下命令创建虚拟环境：

conda create -n seg_zero python=3.11
conda activate seg_zero

然后，安装项目所需的依赖：

pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1
pip install -e .
pip install sam2
pip install matplotlib

运行推理

项目提供了推理脚本 inference_scripts/infer.py，运行以下命令进行推理：

python inference_scripts/infer.py

默认的问题是 "the unusual object in the image."，你将在命令行中得到推理过程，比如：

图像显示了一辆自行车，其轮子被替换成了像西瓜片一样的大圆形物体。图像中不同寻常的地方在于自行车轮被这些类似西瓜的物体替代，这不是自行车典型的特征。自行车的其余部分看起来是标准设计，但轮子是图像的焦点。

掩膜将在 inference_scripts 文件夹中展示。你也可以通过以下方式提供你自己的图片路径和问题文本：

python inference_scripts/infer.py --image_path "你的图片路径" --text "你的问题文本"

训练模型

训练 Seg-Zero 需要执行以下命令：

bash training_scripts/run_qwen2_5_3b_refCOCOg.sh

如果你有较大的 GPU 内存，可以尝试修改以下超参数：

worker.actor.micro_batch_size_per_device_for_update=4 or 8 or 16 \
worker.actor.micro_batch_size_per_device_for_experience=4 or 8 or 16 \

如果你的 GPU 内存较小，可以调整以下配置。数字取决于你的 GPU 内存大小：

worker.rollout.tensor_parallel_size=[1-8之间的数字]
worker.rollout.gpu_memory_utilization=[0-1之间的数字]
worker.rollout.n=[4-32之间的数字]

3. 应用案例和最佳实践

Seg-Zero 可以应用于多种场景，如图像分割、目标检测等。以下是一些应用案例：

• 在自动驾驶系统中，用于识别和分割道路上的不同物体。
• 在医疗影像分析中，用于精确分割病变区域。

最佳实践建议：

• 在训练模型前，确保数据集的质量和多样性，以增强模型的泛化能力。
• 使用合适的超参数来优化模型性能。

4. 典型生态项目

Seg-Zero 与以下开源项目有良好的兼容性：

• EasyR1：一个用于强化学习的框架。
• veRL：一个支持模型在采样时分片，对 GPU 内存友好的框架。
• Qwen2-VL 和 Qwen2.5-VL：系列模型，用于自然语言处理和视觉任务。
• SAM2：用于分割任务的模型。

通过整合这些项目，可以构建更加强大和灵活的图像分割系统。

Seg-Zero Project Page For "Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement" 项目地址: https://gitcode.com/gh_mirrors/se/Seg-Zero