SAM2 项目使用教程

SAM2 项目使用教程

1. 项目的目录结构及介绍

SAM2 项目目录结构如下：

sam2/
├── .github/              # GitHub 工作流配置文件
├── assets/               # 存储项目资源文件
├── checkpoints/          # 存储预训练模型权重文件
├── demo/                 # 存储演示相关文件
├── notebooks/            # 存储Jupyter笔记本文件
├── sam2/                 # SAM2 主代码模块
├── sav_dataset/          # 存储SA-V数据集相关文件
├── tools/                # 存储工具类代码
├── training/             # 存储训练代码
├── CODE_OF_CONDUCT.md    # 项目行为准则
├── CONTRIBUTING.md       # 贡献指南
├── INSTALL.md            # 安装指南
├── LICENSE               # 项目许可证文件
├── LICENSE_cctorch       # 用于PyTorch的自定义许可证
├── MANIFEST.in           # 打包配置文件
├── README.md             # 项目自述文件
├── RELEASE_NOTES.md      # 发行说明
├── backend.Dockerfile    # 后端Dockerfile文件
├── docker-compose.yaml   # Docker编排文件
├── pyproject.toml        # 项目配置文件
└── setup.py              # 项目安装脚本

• .github/：包含GitHub Actions工作流，用于自动化项目的一些操作，如持续集成、发布等。
• assets/：存放项目所需的各种资源文件。
• checkpoints/：存放预训练模型权重文件，用于模型的加载和推理。
• demo/：包含用于展示项目功能的示例代码和配置文件。
• notebooks/：包含Jupyter笔记本，用于展示如何使用SAM2进行图像和视频分割。
• sam2/：包含SAM2算法的核心实现代码。
• sav_dataset/：包含SA-V数据集的相关文件，用于模型训练和测试。
• tools/：包含一些项目所需的工具类代码。
• training/：包含用于训练和微调SAM2模型的代码。
• 其他文件：包括项目许可证、贡献指南、安装指南、自述文件等。

2. 项目的启动文件介绍

项目的启动主要是通过setup.py文件进行，该文件定义了项目的安装流程和相关依赖。

from setuptools import find_packages, setup

setup(
    name="SAM-2",
    version="0.1.0",
    packages=find_packages(),
    install_requires=[
        "torch>=2.5.1",
        "torchvision>=0.20.1",
    ],
)

使用以下命令安装项目：

pip install -e .

3. 项目的配置文件介绍

项目的配置文件主要位于sam2/configs/目录下，包含不同模型配置的YAML文件，例如sam2.1_hiera_l.yaml。

以下是sam2.1_hiera_l.yaml文件的部分内容：

model:
  name: "SAM2"
  backbone:
    name: "hiera_large"
    pretrain: true
  prompt_encoder:
    in_channels: 256
    feat_channels: 2048
    hidden_dim: 512
  decoder:
    num_classes: 1
    hidden_dim: 512
    nheads: 8
    num_layers: 3
  transformer:
    hidden_dim: 512
    nheads: 8
    num_layers: 12
  pos_encoder:
    name: "sine"

这些配置文件定义了模型的结构和参数，包括模型名称、骨干网络、提示编码器、解码器、变换器和位置编码器等。在模型的初始化过程中，会读取这些配置文件以构建模型。

在运行项目之前，需要确保已经正确配置了所有依赖和模型参数。