自己写一个mask标注工具吧（SAM标注+微调功能）

最新推荐文章于 2024-10-26 17:48:43 发布
最新推荐文章于 2024-10-26 17:48:43 发布
阅读量742 收藏 5
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 图像 文章标签： 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/level_code/article/details/141594655

SAM的自动分割功能虽然很强大，然而细节处有时需要调整（比如边缘处不整齐，标注不完整等）。

想要一个标注mask工具有如下功能：
能用SAM作初始标注
可以涂鸦修改细节
可以画直线并可以取消
可以放大缩小和平移图像

更细化一下：
SAM点标注分割
图像和mask叠加显示，方便看到mask
涂鸦可以修改涂鸦笔的粗细，涂鸦可以添加mask区域，也可以移除mask区域
直线也可以调整粗细
因为鼠标左键用作标注，所以用鼠标右键平移图像
鼠标滑轮缩放图像
可以保存mask文件
可以批量处理文件夹
可以指定从第几个文件开始处理

做出来是这种效果，可以看到在给出标注点后SAM作了分割，
但是反光镜那块完全没割出来

在这里插入图片描述

放大细节，画直线

在这里插入图片描述

加直线加涂鸦，保存mask

在这里插入图片描述

尽管不是很完美，还是需要手动微调，不过已经可以用了。
代码放在github

使用sam微调自己的分割数据集（prompt_encoder为mask）
weixin_43479119的博客
09-18 1752
记录prompt_encoder为mask的sam微调过程
SAM2分割模型微调指南
新缸中之脑
08-09 7464
SAM2（Segment Anything 2）是 Meta 推出的一款新模型，旨在对图像中的任何内容进行分割，而不局限于特定的类别或领域。该模型的独特之处在于其训练数据规模：1100 万张图像和 110 亿个掩码。这种广泛的训练使 SAM2 成为训练新图像分割任务的强大起点。你可能会问，如果 SAM 可以分割任何东西，为什么我们还需要重新训练它？答案是 SAM 在常见物体方面非常出色，但在罕见或特定领域的任务上表现不佳。
关于Mask-Rcnn中标注工具VIA（VGG Image Annotator）使用的详解
weixin_44498476的博客
05-18 6702
注意：最近VIA官网对VIA标注工具进行了更新，由之前的Version1、Version2更新为Version1、Version2和Version3。Version3主要是增加了对视频和音频的标注，由于博主主要研究方向是实力分割，所以对Version3不是很了解，所以下文我们以Version2作为示例来讲解。 第一步，先下载VIA，点击下方链接即可进入官网，下图为VIA官网主页图片。 链接：VIA...
图像标注工具_mask_rcnn等深度学习样本制作
01-31
图像标注工具，参考了VIA及labelme等标注软件，由C#编写，支持矩形及多边形的数据标定，为了制作数据集用来做实例分割等深度学习算法训练，特编写了次软件，本着开源精神，代码一起奉上。分享给需要的好朋友们。
Mask R-CNN标注工具使用说明
xiaomifanhxx的博客
11-13 7874
本文介绍Mask R-CNN标注工具labelme在ubuntu与Windows使用。 labelme的git:https://github.com/wkentaro/labelme ubuntu： 1、安装labelme ubuntu16.04 系统自带的python2.7环境 sudo apt-get install python-qt4 pyqt4-dev-tools su...
mask rcnn标注转化工具
04-13
mask rcnn标注转化工具，完全独创，之前看到网上有C++写的版本，而且分为好几次进行转化，这里使用JAVA进行了重写，将所有转化的步骤合一了，方便使用
如何标注mask用于图像分割模型训练（VIA标注semantic segmentation数据集的mask）
DvLee
06-25 2万+
近几年深度学习发展非常迅猛，深度学习用于图像识别、分割等方面效果非常好，像mask rcnn这类的网络已经可以做到对象分割了（instance segmentation）。 训练图像分割模型，需要标注大量mask图片，而网上找到的标注工具只能导出json文件，今天分享下如何把json文件转化成mask 图片。 首先，使用VIA标注工具，标注物体轮廓，导出json文件。json文件里包括了图片中物体...
【人工智能前沿弄潮】—— SAM系列：SAM自动生成物体mask
qq_43456016的博客
08-09 4022
由于SAM可以高效处理提示，可以通过在图像上抽样大量的提示来生成整个图像的mask。这种方法被用来生成数据集SA-1B。类实现了这个功能。它通过在图像上的网格中对单点输入提示进行抽样，从每个提示中SAM可以预测多个mask。然后，使用非极大值抑制对mask进行质量过滤和去重。其他选项允许进一步提高mask的质量和数量，例如在图像的多个裁剪上运行预测，或者对mask进行后处理以去除小的不连通区域和孔洞。
【项目学习】记录segment-anything、SAM及衍生自动标注工具使用
kk的博客
05-05 9710
记录segment-anything、SAM及衍生标注工具使用
如何微调SAM模型：从环境配置到训练实现的完整指南
cnzzs的博客
10-26 2639
如何微调SAM模型：从环境配置到训练实现的完整指南如何微调SAM模型：从环境配置到训练实现的完整指南如何微调SAM模型：从环境配置到训练实现的完整指南引言目录1. 环境配置2. 项目结构3. 数据准备4. 模型微调4.1 数据集类实现4.2 训练函数实现5. 训练过程6. 注意事项和优化建议7. 模型预测和可视化7.1 预...
一款在线图像标注工具（矩形、多边形、持续更新中……），可用于深度学习实例分割模型训练（Mask R-CNN）等。.zip
02-04
一款在线图像标注工具（矩形、多边形、持续更新中……），可用于深度学习实例分割模型训练（Mask R-CNN）等。
Meta再下一城：SAM 2
鲁班模锤
07-31 1469
“继用于图像SAM取得成功之后，我们发布了SAM 2，这是一种用于在图像和视频中实时进行对象分割的统一模型。” 模型适用于增强现实（AR）、虚拟现实（VR）、机器人、自动驾驶车辆和视频编辑等需要时间定位的应用。
图像标注工具：Mask R-CNN等深度学习样本制作
gitblog_09744的博客
10-15 545
图像标注工具：Mask R-CNN等深度学习样本制作 去发现同类优质开源项目:https://gitcode.com/ 简介 本仓库提供了一个图像标注工具，该工具参考了VIA及labelme等标注软件，由C#编写而成。该工具支持矩形及多边形的数据标定，旨在帮助用户制作数据集，用于实例分割等深度学习算法的训练。为了方便大家使用，我们不仅提供了软件的下载，还开源了相关代码，供有需要的朋友们参考和使用。...
mask-RCNN笔记——标注工具以及各式转换 labelme
Diana_Z的博客
10-31 4179
使用标注工具lablem 1、下载 https://github.com/wkentaro/labelme 2、安装 使用环境，ubuntu16.04，python3 进入labelme文件夹下，打开终端，进入虚拟环境，运行代码 pip install pyqt5 # pyqt5 can be installed via pip on python3 pip install lab...
【人工智能前沿弄潮】—— SAM系列：SAM从提示生成物体mask
qq_43456016的博客
08-09 2797
Segment Anything Model（SAM）根据指示所需的对象来预测对象掩码。该模型首先将图像转换为图像嵌入，从而可以从提示中高效地生成高质量的掩码。类为模型提供了一个简单的接口来提示模型。用户可以首先使用set_image方法设置图像，该方法会计算所需的图像嵌入。然后，可以通过predict方法提供提示，以从这些提示中高效地预测掩码。模型可以接受点和框提示以及先前迭代预测的掩码作为输入。
MaskRCNN学习（三）——labelme工具的使用（用于标注自己的数据集）
bruce_zhao1407的博客
01-11 2944
1. 准备工具 MaskRCNN的标记工具是labelme工具，点击下载
python实现xml标注文件生成mask
Grimpeur的耻辱柱
10-13 3572
python实现xml标注文件生成mask 数据集：Medical Images for Nucleus Segmentation（一个细胞核分割公共数据库，原图.tif，标注文件.xml） xml文件结构： 若干个（X,Y）坐标点所围成的区域（region）表示一个细胞核的mask；若干个region组成的regions即这幅图所有细胞核的mask。 <Annotations MicronsPerPixel="0.252000"> <Annotation ...> <A
labelme进行mask图像标注
小白不白
02-06 2338
安装labelme cmd里输入以下代码， pip install labelme-i https://pypi.tuna.tsinghua.edu.cn/simple 用清华源非常快 打开labelme cmd里直接输入labelme 就会自己打开 我们常用的标注方式就这两种，多边形和矩形 打开我们保存的文件地址，看到对应的json文件就说明保存成功了。 具体json文件怎么转换之后再说。 ...
Mask_RCNN训练自己的数据，标注工具Labelme的使用说明
热门推荐
地理信息系统、摄影测量与遥感、人工智能
04-07 3万+
#2018/05/04 更新由于labelme的数据预处理过程还是太繁琐，现在换成了类似于COCO数据集注释的方式（JSON文件）：https://blog.youkuaiyun.com/qq_15969343/article/details/80167215#以下为原文该Mask_RCNN版本为基于：Python3，Keras，TensorFlow，我使用的具体版本为：Python 3.6.3TensorF.........
用自己数据集SAM复现
最新发布
04-03
<think>好的，我现在需要帮助用户解决如何在SAM模型上使用自定义数据集复现实验的问题。首先，我得回顾一下SAM的基本信息，用户提供的引用内容提到SAM是一个通用的图像分割基础模型，可以通过提示（点、框、文本等）进行零样本分割，不需要微调。这意味着用户可能希望利用自己的数据直接应用SAM，或者进行某种调整。 接下来，用户的问题是关于使用自定义数据集复现实验。复现实验可能意味着用户想在自己的数据上测试SAM的效果，或者可能想进行一些调整，比如微调模型？不过根据引用中的描述，SAM不需要为每个任务微调，但用户可能有特殊需求。 我需要分步骤来回答这个问题。首先，用户需要准备数据集，然后加载SAM模型，接着进行推理，可能需要调整提示方式，最后评估结果。另外，用户可能需要了解如何可视化结果和处理可能的常见问题。 步骤一：数据准备。用户的数据集需要符合SAM的输入格式。根据SAM的设计，输入是图像加上提示。因此，用户需要确保图像格式正确，比如常见的RGB格式，可能需要调整尺寸。此外，用户可能需要准备对应的提示信息，比如点、框等，或者让SAM生成所有可能的区域。 步骤二：加载预训练模型。SAM提供了不同的模型权重，如ViT-H、ViT-L、ViT-B。用户需要根据硬件条件选择合适的模型，并下载对应的检查点。这里需要给出代码示例，比如使用官方库加载模型。 步骤三：数据预处理。可能需要将图像转换为SAM所需的格式，比如归一化，调整大小等。但SAM本身可能有内置的预处理方法，需要查阅相关文档。 步骤四：模型推理。用户需要编写代码，将图像和提示输入模型，得到分割掩码。这里需要展示如何使用不同的提示（点、框），或者自动生成所有掩码。例如，使用SamPredictor或SamAutomaticMaskGenerator。 步骤五：结果后处理。分割掩码可能需要转换为可视化的结果，或者与其他标注数据比较。用户可能需要保存掩码为图像或JSON文件。 步骤六：评估与调优。用户可能需要计算评估指标，如Dice系数，或者调整提示策略以提高准确率。如果结果不理想，可能需要尝试不同的提示方式，或者考虑微调模型，尽管SAM主要设计为零样本，但官方是否支持微调？需要确认。 潜在的问题：用户的数据可能与SAM训练数据分布不同，导致效果不佳。这时候可能需要数据增强，或者更精细的提示选择。另外，处理大尺寸图像（如医学影像）时，可能需要分块处理，引用中提到的SAM在WSI上的实验可能涉及这一点，可能需要参考相关处理方式。 代码示例部分，需要确保正确导入库，加载模型，处理图像。比如使用torch和SAM的库。给出使用点和框作为提示的例子，以及自动生成所有掩码的方法。 最后，生成相关问题，可能涉及性能优化、评估指标、处理大图像、微调可能性等。</think>以下是在SAM模型中使用自定义数据集进行实验复现的步骤指南，结合医学影像处理特点： ### 一、数据准备阶段 1. **格式标准化**：将WSI切片转换为$512\times512$像素的PNG格式，存储为`images/001.png`的层级结构 2. **标注映射**：创建`masks/001.png`目录存放二进制掩膜，确保与图像文件名严格对应 3. **元数据配置**：编写`dataset.yaml`定义数据路径和类别： ```yaml path: /data/medical test: images/ mask_dir: masks/ classes: [肿瘤组织, 正常组织] ``` ### 二、模型加载与适配 ```python from segment_anything import sam_model_registry # 根据GPU显存选择模型版本（示例使用基础版） sam = sam_model_registry["vit_b"](checkpoint="sam_vit_b_01ec64.pth") sam.to(device='cuda:0') # 医学影像建议使用GPU加速 ``` ### 三、医学影像专用处理 1. **大图分块策略**： ```python def chunk_image(img, chunk_size=512): # 将全切片图像分解为512x512的区块 return [img[i:i+chunk_size, j:j+chunk_size] for i in range(0, img.shape[0], chunk_size) for j in range(0, img.shape[1], chunk_size)] ``` 2. **多模态提示集成**： ```python # 结合DICOM元数据作为文本提示 with open('dicom_metadata.json') as f: metadata = json.load(f) text_prompt = f"扫描设备:{metadata['Manufacturer']}, 层厚:{metadata['SliceThickness']}mm" ``` ### 四、推理验证流程 ```python from segment_anything import SamPredictor predictor = SamPredictor(sam) predictor.set_image(chunk_img) # 生成三种医学常用提示类型 input_points = np.array([[256, 256]]) # 病理标注点 input_box = np.array([100, 100, 400, 400]) # 医生标注区域 masks, scores, _ = predictor.predict( point_coords=input_points, point_labels=np.array([1]), box=input_box, multimask_output=True ) # 输出置信度最高的掩膜 best_mask = masks[scores.argmax()] ``` ### 五、医学影像评估指标 $$ Dice = \frac{2|X \cap Y|}{|X| + |Y|} $$ $$ AJI = \frac{\sum_{i=1}^{n}|G_i \cap S(G_i)|}{\sum_{i=1}^{n}(|G_i| + |S(G_i)| - |G_i \cap S(G_i)|)} $$ 其中$G_i$表示金标准，$S(G_i)$为预测区域 ### 六、可视化验证 ```python import matplotlib.pyplot as plt plt.figure(figsize=(20,10)) plt.subplot(1,3,1) plt.imshow(chunk_img) plt.title(f"原始图像块\n{text_prompt}") plt.subplot(1,3,2) plt.imshow(best_mask, alpha=0.5) plt.title(f"分割结果\nDice: {dice_score:.3f}") plt.subplot(1,3,3) plt.imshow(ground_truth) plt.title("金标准标注") plt.savefig('medical_validation.png', dpi=300) ``` ### 常见医学数据问题解决方案 1. **低对比度优化**： ```python from skimage import exposure enhanced_img = exposure.equalize_adapthist(img, clip_limit=0.03) ``` 2. **多器官干扰处理**： ```python # 使用DICOM标签生成器官屏蔽层 organ_mask = (dicom_data['OrganLabel'] > 0).astype(np.uint8) masked_img = img * organ_mask ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蓝羽飞鸟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值