Mask DINO环境配置

最新推荐文章于 2024-11-04 10:08:39 发布
最新推荐文章于 2024-11-04 10:08:39 发布
阅读量841 收藏 2
点赞数 2
文章标签： 深度学习 人工智能 python maskdino
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_18236971/article/details/132223296
版权
本文详细介绍了如何在CUDA11.3环境中配置PyTorch1.10.1、torchvision、torchaudio，以及如何安装和使用Detectron2和MaskDINO库进行实例分割的步骤，包括代码示例和测试过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 准备工作

cuda11.3
cudnncuda11对应最新版即可
pytorch1.10.1
torchvision0.11.2
torchaudio0.10.1

2. 环境

conda create -n env_name python=3.9
conda activate env_name
conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=11.3 -c pytorch -c conda-forge

#安装detectron2
git clone https://github.com/facebookresearch/detectron2.git
python -m pip install -e detectron2


#克隆maskdino库
git clone https://github.com/IDEA-Research/MaskDINO.git
cd ./MaskDINO
pip install -r requirement.txt
cd maskdino/modeling/pixel_decoder/ops
python setup.py build install

 3.运行demo

将图片和模型分别放在imgs和weights中,进行测试

python .\demo\demo.py --config-file .\configs\coco\instance-segmentation\maskdino_R50_bs16_50ep_3s.yaml --input .\img\1.jpg --output .\img\2.jpg --opts MODEL.WEIGHTS .\weights\maskdino_r50_50ep_300q_hid1024_3sd1_instance_maskenhanced_mask46.1ap_box51.5ap.pth

OK,顺利结束

DennisJcy
关注
手把手写深度学习(24)：用SAM通过文本提示分割mask图片
沉迷单车的追风少年
03-26 2015
在生成任务中，通过对mask区域进行生成可以有更好的可控性，是AIGCer必备的技能之一。这篇博客手把手带读者基于SAM完成一个通过文本提示词的分割图片，打上mask，方便后续用diffusion models重建。
Vision - 开源视觉分割算法框架 Grounded SAM2 配置与推理 教程 (1)
AGI
10-31 2297
Grounded SAM2 集成多个先进模型的视觉 AI 框架，融合 GroundingDINO、Florence-2 和 SAM2 等模型，实现开放域目标检测、分割和跟踪等多项视觉任务的突破性进展，通过自然语言描述来定位图像中的目标，生成精细的目标分割掩码，在视频序列中持续跟踪目标，保持 ID 的一致性。
win10系统配置Mask DINO经验总结
白夜繁华尽的博客
07-11 1060
win10系统配置Mask DINO的经验总结
统一检测和分割任务！港科大&清华&IDEA提出基于Transformer统一目标检测与分割框架Mask DINO，效果SOTA！...
我爱计算机视觉
07-07 2727
关注公众号，发现CV技术之美本篇分享论文『Mask DINO: Towards A Unified Transformer-based Framework for Object Detection and Segmentation』，统一了检测和分割任务！港科大&清华&IDEA提出基于Transformer的统一目标检测与分割框架Mask DINO，效果S...
MaskDINO环境搭建与模型测试
qq_41627642的博客
11-29 979
使用上面的命令而不使用eval-only将训练模型。例如，为了重现我们的实例分割结果，您可以从表中复制配置路径，将预训练的检查点下载到/path/to/checkpoint_file中，然后运行。要在视频上运行, replace --input files with --video-input video.mp4.要在网络摄像头上运行, replace --input files with --webcam.要将输出保存到目录（对于图像）或文件（对于网络摄像头或视频）, use --output.
win11配置Mask DINO小白踩坑记录
Ella的博客
03-06 2215
前情提要：需要复现Mask DINO，但是实验室没有Linux的电脑，在Windows上复现的时候遇到了，然后看博客说在Windows上配置很麻烦，建议去Linux，但是虚拟机没办法用GPU，想到了三个方法：1、用WSL2来运行；2、在Windows上解决这个困难；3、装双系统。我首先试了方法1，碰到了一开始的问题，而且也比较麻烦，所以干脆进行了2，网上一些方法写的比较简略，但是我实际运行过程中碰到了很多问题，所以记录一下。
论文阅读——Mask DINO（cvpr2023）
weixin_43575791的博客
12-16 1765
传统的检测+分割中，检测头和分割头是平行的，Mask DINO使用二分图匹配bipartite matching提高匹配结果的准确性。box对大的类别不计算损失，因为太大了，会带坏模型。模型一样预测，但是损失取其他类别的平均数。DINO是检测，Mask DINO是检测+分割。
《Mask DINO: Towards A Unified Transformer-based Framework for Object Detection and Segmentation》论文解读
qq_46981910的博客
05-13 3855
摘要摘要本文提出Mask DINO，一个统一的目标检测和分割框架。Mask DINO通过添加掩码预测分支来扩展DINO(具有改进的去噪锚框的DETR)，该分支支持所有图像分割任务(实例、全景和语义)。它利用迪诺的查询嵌入对高分辨率像素嵌入图进行点积，以预测一组二进制掩码。DINO中的一些关键组件通过共享架构和训练过程进行了扩展以进行分割。Mask DINO简单、高效、可扩展，可以从联合的大规模检测和分割数据集中受益。
grounding_dino_mmcv目标检测算法模型
qq_27815483的博客
07-18 1217
Grounding DINO是一个将基于Transformer的DINO检测器与预训练相结合的开放集目标检测器。
目标检测技术的发展：从R-CNN、YOLO到DETR、DINO
DeepAIedu的博客
09-30 1904
OV-DINO的出现标志着在开放域目标检测领域的重大进步，其在处理未见过的物体类别时的能力得到了显著提升。这项技术对于需要适应未知或变化环境的应用具有重要意义，如自动驾驶、机器人视觉、安防监控等。
Vision - 开源视觉分割算法框架 Grounded SAM2 视频推理 教程 (2)
AGI
11-04 1377
Grounded SAM2 集成多个先进模型的视觉 AI 框架，融合 GroundingDINO、Florence-2 和 SAM2 等模型，实现开放域目标检测、分割和跟踪等多项视觉任务的突破性进展，通过自然语言描述来定位图像中的目标，生成精细的目标分割掩码，在视频序列中持续跟踪目标，保持 ID 的一致性。
MASKDINO参数配置详解
qq_43275608的博客
10-24 1412
使用的主干网络类型，这里是 D2Swin Transformer。指定使用的模型架构，MaskDINO 是一种用于实例分割的模型。（被注释掉的行）评估标志，可能表示在训练时是否启用评估。关于 Swin Transformer 的参数配置。解码器的层数（9层加1层用于可学习查询的损失）。每一层的深度配置，表示不同阶段的层数。模型的主干网络，负责提取特征。预训练时使用的图像尺寸。MaskDINO 特有的参数。定义模型的各个组件和超参数。图像预处理时使用的标准差。随机丢弃路径的概率。图像预处理时使用的均值。
探索未来AI的潜力：MaskDINO深度学习框架
gitblog_00028的博客
04-25 543
探索未来AI的潜力：MaskDINO深度学习框架 MaskDINO[CVPR 2023] Official implementation of the paper "Mask DINO: Towards A Unified Transformer-based Framework for Object Detection and Segmentation"项目地址:https://gitcode....
探索Mask DINO：统一Transformer框架下的对象检测与分割
gitblog_00291的博客
08-12 507
探索Mask DINO：统一Transformer框架下的对象检测与分割 MaskDINO[CVPR 2023] Official implementation of the paper "Mask DINO: Towards A Unified Transformer-based Framework for Object Detection and Segmentation"项目地址:http...
MaskDINO安装与使用指南
gitblog_00432的博客
08-22 715
MaskDINO安装与使用指南 MaskDINO项目地址:https://gitcode.com/gh_mirrors/mas/MaskDINO 项目介绍 MaskDINO 是一个基于 PyTorch 的开源项目，旨在提供一种高效且强大的对象检测与实例分割解决方案。该项目利用了最新的深度学习技术，特别是无监督预训练方法，实现了在各种视觉任务中的高精度性能。MaskDINO的核心亮点在于其简化了实...
MASKDINO代码安装
qq_43275608的博客
10-28 1008
Feng Li本库是《Mask DINO: Towards A Unified Transformer-based Framework for Object Detection and Segmentation》的官方实现（DINO 发音为 `daɪnoʊ'，如在 dinosaur 中）。我们的代码基于 detectron2，detrex 版本同步开源。🔥 我们发布了基于 MaskDINO 的强大开放集物体检测和分割模型 OpenSeeD，已在开放集物体分割任务上取得最佳结果。代码和检查点可在此处获取。
探索MaskDINO：新一代AI图像处理神器
gitblog_00095的博客
04-10 534
探索MaskDINO：新一代AI图像处理神器 MaskDINO项目地址:https://gitcode.com/gh_mirrors/mas/MaskDINO 在这个数字化的时代，图像处理和计算机视觉已经成为了科技发展的重要推动力。今天，我们要向大家介绍一个令人瞩目的开源项目——，它是一个基于深度学习的实时实例分割框架，旨在为开发者和研究者提供强大而高效的工具。 项目简介 MaskDINO是由I...
【深度学习】Mask DINO四部曲—DETR潘多拉魔盒的正确打开方式
fengdu78的博客
07-18 3379
看本文之前，可以先看一下之前的文章：计算机视觉"新"范式: Transformer检测框架的本质：从检测框编码的输入角度考虑，有密集到稀疏，密集和稀疏三种框架。Mask R-CNN属于先通过密集预测得到稀疏的采样，然后进行稀疏预测的检测框架；RetinaNet(FCOS、CenterNet)等都属于直接密集预测得到结果的检测框架。在DETR工作之前，几乎所有的检测算法都可...
gdinosam语义分割
最新发布
03-25
### GDINO-SAM 的语义分割使用方法 GDINO-SAM 是一种基于 SAM（Segment Anything Model）扩展的工具，它结合了 DINO 和 SAM 的优势来实现更高效的图像分割任务。以下是关于如何使用 GDINO-SAM 进行语义分割的方法以及示例代码。 #### 安装依赖项 为了运行 GDINO-SAM，需要安装必要的 Python 库和框架。可以按照以下命令完成环境配置： ```bash pip install torch torchvision opencv-python-headless matplotlib numpy git clone https://github.com/facebookresearch/segment-anything.git cd segment-anything pip install -e . ``` 如果要集成 DINO 功能，则还需要额外安装 `dino` 模型的相关库[^1]。 --- #### 示例代码：加载模型并执行语义分割 下面是一个完整的代码示例，展示如何利用 GDINO-SAM 实现语义分割功能。 ```python import cv2 import numpy as np from sam import SamPredictor, build_sam_vit_h from dino import load_dino_model # 自定义函数用于加载DINO模型 def run_gdinoseg(image_path): # 加载预训练的SAM模型 sam_checkpoint = "sam_vit_h_4b8939.pth" model_type = "vit_h" device = "cuda" sam = build_sam_vit_h(checkpoint=sam_checkpoint).to(device=device) predictor = SamPredictor(sam) # 加载输入图片 image = cv2.imread(image_path) image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # 设置预测器上下文 predictor.set_image(image) # 使用DINO提取特征点 dino_model = load_dino_model() features = dino_model.extract_features(image) # 提取关键区域特征 # 转换为适合SAM使用的格式 input_point = np.array(features["keypoints"]) input_label = np.ones(input_point.shape[0], dtype=int) masks, scores, logits = predictor.predict( point_coords=input_point, point_labels=input_label, multimask_output=True, ) return masks[np.argmax(scores)], scores if __name__ == "__main__": result_mask, confidence_scores = run_gdinoseg("example.jpg") print(f"Confidence Scores: {confidence_scores}") ``` 上述代码展示了如何通过融合 DINO 特征与 SAM 预测能力来进行高效的目标检测和语义分割操作。 --- #### 关键参数说明 1. **`input_point`**: 表示用户指定的关键点坐标数组，通常由 DINO 或其他目标检测算法提供。 2. **`multimask_output`**: 控制是否返回多个可能的掩码选项，默认设置为 True 可以提高灵活性。 3. **`predict()` 方法**: 接收关键点及其标签作为输入，并输出对应的二值化掩码矩阵、置信度分数以及其他中间变量。 --- #### 性能优化建议 对于大规模数据集上的应用，可以通过调整超参进一步提升效率： - 减少候选框数量； - 利用批量处理机制加速推理过程； - 对于低分辨率场景可适当降低采样率以节省计算资源开销。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值