Grounded-SAM Demo部署搭建

目录

1 环境部署

2 Grounded-SAM Demo安装

3 运行Demo

3.1 运行Gradio APP

3.2 Gradio APP操作


1 环境部署

由于SAM建议使用CUDA 11.3及以上版本,这里使用CUDA 11.4版本。

另外,由于整个SAM使用的是Pytorch开发,因此需要Python环境,这里使用conda环境,能够更方便地安装各依赖库。Python版本要求3.8及以上,这里使用Python3.8。使用conda安装Python3.8的过程如下。

(1)安装Anaconda

  1. 下载Anaconda
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.3.1-Linux-x86_64.sh
  1. 安装Anaconda
bash Anaconda3-5.3.1-Linux-x86_64.sh
### 部署 Grounded-SAM 模型的指南 部署 Grounded-SAM 模型需要准备两个主要的大模型文件:一个是 SAM(Segment Anything Model)的分割模型 `sam_vit_h_4b8939.pth`,另一个是 GroundingDINO 的检测模型 `groundingdino_swint_ogc.pth`[^2]。以下是详细的部署步骤: #### 1. 环境准备 确保系统已安装 Python(推荐版本为 3.8 或更高)。然后创建一个虚拟环境以避免依赖冲突: ```bash python -m venv grounded-sam-env source grounded-sam-env/bin/activate # Linux/MacOS grounded-sam-env\Scripts\activate # Windows ``` #### 2. 安装依赖项 克隆 Grounded-Segment-Anything 仓库并安装相关依赖项: ```bash git clone https://github.com/IDEA-Research/Grounded-Segment-Anything.git cd Grounded-Segment-Anything pip install -r requirements.txt ``` 如果需要从源码安装 GroundingDINO,请执行以下命令: ```bash python -m pip install -e GroundingDINO ``` 此操作会将 GroundingDINO 包作为可编辑模式安装到环境中[^3]。 #### 3. 下载预训练模型 下载 SAMGroundingDINO 的预训练权重文件: ```bash mkdir models cd models wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth wget https://github.com/IDEA-Research/GroundingDINO/releases/download/v0.1.0-alpha/groundingdino_swint_ogc.pth ``` 这些模型文件应保存在项目的 `models` 文件夹中以便加载使用[^2]。 #### 4. 配置与运行 配置脚本以加载模型并进行推理。例如,可以参考官方提供的示例脚本 `demo.py` 进行修改或直接运行: ```bash python demo.py --config-file groundingdino/config/GroundingDINO_SwinT_OGC.py --ckpt groundingdino_swint_ogc.pth --image image.jpg --sam-checkpoint sam_vit_h_4b8939.pth --output-dir outputs/ ``` 上述命令将加载指定的模型并对输入图像 `image.jpg` 执行分割和检测任务,结果将保存到 `outputs/` 文件夹中[^2]。 #### 5. 自定义集成 如果希望将 Grounded-SAM 与其他开放世界模型(如 RAM、BLIP 或 Stable Diffusion)结合使用,则需进一步调整代码逻辑。例如,通过引入额外的 API 接口来实现自动图像注释或精确编辑功能[^1]。 --- ### 注意事项 - 确保网络连接正常,以便成功下载模型文件。 - 如果在部署过程中遇到问题,可以参考 GitHub 仓库中的 Issue 页面寻求帮助。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

space01

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值