SAMURAI项目安装与配置指南

SAMURAI项目安装与配置指南

samurai Official repository of "SAMURAI: Adapting Segment Anything Model for Zero-Shot Visual Tracking with Motion-Aware Memory" 项目地址: https://gitcode.com/gh_mirrors/samur/samurai

1. 项目基础介绍

SAMURAI（Segment Anything Model Adapting for Zero-Shot Visual Tracking with Motion-Aware Memory）是一个开源项目，旨在利用Segment Anything Model（SAM）进行零样本视觉跟踪，并结合运动感知记忆机制。该项目基于SAM 2模型，通过改进使其能够处理视频中的跟踪任务，而无需额外训练。项目主要使用的编程语言是Python。

2. 关键技术和框架

• Segment Anything Model (SAM): 用于图像分割的模型，能够生成高质量的分割掩码。
• Zero-Shot Learning: 允许模型在没有任何特定类别训练数据的情况下进行预测。
• Motion-Aware Memory: 一种记忆机制，用于跟踪视频中的对象，感知其运动。
• PyTorch: 用于构建和训练神经网络的框架。
• TorchVision: PyTorch的视觉工具包，提供数据加载器和图像处理工具。

3. 安装和配置

准备工作

在开始安装之前，请确保您的系统中已经安装了以下依赖：

• Python（版本需大于等于3.10）
• PyTorch（版本需大于等于2.3.1）
• TorchVision（版本需大于等于0.18.1）

您可以从PyTorch官网找到相应的安装指南，以安装PyTorch和TorchVision。

安装步骤

1. 克隆项目仓库：

   git clone https://github.com/yangchris11/samurai.git
   cd samurai
   

2. 安装SAM 2：

   cd sam2
   pip install -e .
   pip install -e ".[notebooks]"
   

   如果遇到问题，可以查看SAM 2仓库中的INSTALL.md文件。

3. 安装其他依赖：

   pip install matplotlib==3.7 tikzplotlib jpeg4py opencv-python lmdb pandas scipy loguru
   

4. 下载预训练模型：

   cd checkpoints
   ./download_ckpts.sh
   cd ..
   

5. 准备数据集：

   将数据集按照以下格式放置在data/LaSOT目录下：

   data/LaSOT
   ├── airplane/
   │   ├── airplane-1/
   │   │   ├── full_occlusion.txt
   │   │   ├── groundtruth.txt
   │   │   ├── img
   │   │   ├── nlp.txt
   │   │   └── out_of_view.txt
   │   ├── airplane-2/
   │   ├── airplane-3/
   │   ├── ...
   ├── basketball
   ├── bear
   ├── bicycle
   ...
   ├── training_set.txt
   └── testing_set.txt
   

6. 运行示例：

   运行以下命令来执行主推理或演示：

   python scripts/main_inference.py
   

   或者使用自定义视频进行演示：

   python scripts/demo.py --video_path <your_video.mp4> --txt_path <path_to_first_frame_bbox.txt>
   

以上就是SAMURAI项目的安装和配置指南。请确保按照步骤进行，以便顺利运行项目。

samurai Official repository of "SAMURAI: Adapting Segment Anything Model for Zero-Shot Visual Tracking with Motion-Aware Memory" 项目地址: https://gitcode.com/gh_mirrors/samur/samurai