Mask3D实例分割模型复现

已于 2025-03-25 22:41:51 修改
阅读量553 收藏 13
点赞数 7
分类专栏： 实例分割模型 文章标签： 深度学习 3d python
于 2025-03-25 18:34:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45177945/article/details/146508714
版权

基于Mask3D实现自制3D点云数据集的实例分割模型

1.数据集制作

参考S3DIS数据格式：

一级文件夹为Area_x(1-6)
二级文件夹 场景名：
	Annotations
		实例名1_1.txt
		实例名1_2.txt
		实例名2_1.txt
	场景名.txt

将场景拉入CloudCompare 进行对应的分割并按着上述格式进行制作

2.Mask3D实例分割模型的准备

GitHub - JonasSchult/Mask3D: Mask3D predicts accurate 3D semantic instances achieving state-of-the-art on ScanNet, ScanNet200, S3DIS and STPLS3D.

实验环境

根据readme.md文件命令搭建python的conda环境（注意点：注意命令行间的安装目录）

基于S3dis类型: 修改自身数据集

1.将自制数据集放于data文件夹下raw中

2:更改自身数据目录为s3dis 运行python -m datasets.preprocessing.s3dis_preprocessing preprocess \

会生成对于数据的yaml文件

运行前根据自身数据集更改代码中实例数，实例颜色数：

即代码中s3dis_presprocessing.py中的self.class_map self.color_map这两个数据集

在这里插入图片描述

训练模型

1.注意模型的参数：按需更改参数

save_visualizations：保存后续可视化

workspace:注意改成自己的wandb账号：

num_tagrget:修改成自身实例数+1

在这里插入图片描述

2训练脚本：
在这里插入图片描述

3成功运行：

在这里插入图片描述

可视化结果

保存结果位于save文件夹

cd该文件夹位置

使用python -m http.server 6008即可运行

化结果

保存结果位于save文件夹

cd该文件夹位置

使用python -m http.server 6008即可运行

之后就是提取分割点云
后面有时间再写

#####引用
Mask3D模型
CloudCompare

PyTorch深度学习实战（25）——从零开始实现Mask R-CNN实例分割
盼小辉丶的博客
11-01 7504
Mask R-CNN 是一种在目标检测任务中引入了语义分割的强大框架，通过在 Faster R-CNN 基础上进行扩展，添加了额外的分支网络，不仅可以准确地检测对象的位置和类别，还可以生成每个实例的精确像素级别的语义分割掩码。其模块化的设计可以轻松地应用于不同的任务和数据集，并且可以通过添加更多的分支进行功能扩展，如实例关键点检测等。
【3D图像分割】基于 Pytorch 的 3D 图像分割3（3D UNet 模型篇）
钱多多先森
11-03 8990
3D UNet 模型的搭建，提供了思路，帮助你快速而全面的了解该模型，并通过预测试方式，了解模型情况
从零部署点云实例分割项目Mask3D
Justin_JGT的博客
01-31 3044
本文针对深度学习3D实例分割项目Mask3D做了部署并进行解析与记录。
Mask3D 项目使用教程
gitblog_00774的博客
10-11 561
Mask3D 项目使用教程 Mask3D 项目地址: https://gitcode.com/gh_mirrors/ma/Mask3D 1. 项目的目录结构及介绍 Mask...
OpenMask3D 开源项目教程
gitblog_00604的博客
09-13 361
OpenMask3D 开源项目教程 openmask3d 项目地址: https://gitcode.com/gh_mirrors/op/openmask3d 1. 项目介...
【论文阅读】【3D场景点云分割】Mask3D: Mask Transformer for 3D Semantic Instance Segmentation
Grey_OnO的博客
09-02 2166
第一种真正基于 Transformer 的三维点云实例语义分割方法
探索未来视觉技术：Mask3D - 实时3D面部遮罩生成器
gitblog_00041的博客
04-19 456
探索未来视觉技术：Mask3D - 实时3D面部遮罩生成器 Mask3D 项目地址: https://gitcode.com/gh_mirrors/ma/Mask3D 项目简介 是一个创新的开源项目，由开发...
【数据集使用】3D Mask Attack Dataset（3DMAD数据集）的使用
小C的博客
09-17 3227
【编辑时间】2018.09.16 【数据集使用】3D Mask Attack Dataset（3DMAD数据集）的使用 【数据集链接】http://www.idiap.ch/dataset/3dmad   一、下载数据库并解压 文件夹中包含的文件如下： 文件包含： session1.tar.gz - Videos and annotations from the first...
MaskedFusion代码复现（包含可视化代码）
qq_44892836的博客
03-14 856
环境配置： Ubuntu 18.04 Python 3.6 Pytorch 1.２.０ CUDA 10.0 cuDNN v7.6.２ 一、克隆项目： git clone https://github.com/kroglice/MaskedFusion.git cd MaskedFusion pip install pillow==6.2.1 opencv-python==4.1.2.30 scipy==1.4.1 numpy==1.18.0 pyyaml==5.2 conda install pytor
Unity 3D - Mask和RectMask2D区别
热门推荐
Yu
10-25 1万+
Unity 3D - Mask和RectMask2D区别 : 主要区别: 区别1: Mask主要处理不规则图形遮罩效果 RectMask2D只能做矩形遮罩. 区别2: Mask需要一个Image来当作遮罩区域,子节点在Image[渲染区域]才会显示 RectMask2D以自身RectTransform为裁剪区域,子节点在[RectTransform区域]内显示 从效果上看 Mas...
ITK 3D图像逐片做Mask再合成3D图像
sharemon的博客
08-07 1490
using MaskFilterType = itk::MaskImageFilter< ImageType, ImageType >; MaskFilterType::Pointer maskFilter = MaskFilterType::New(); maskFilter->SetInput(reader->GetOutput()); mask...
深度学习实例分割：3D-BoNet.zip
04-18
在这个场景下，3D-BoNet，全称为3D Bound Box Network，是一个专门针对自动驾驶的三维实例分割模型，它能够精确地识别和定位3D空间中的物体。 3D-BoNet的创新之处在于其结合了二维图像信息和三维几何理解，通过深度...
Mask-RCNN网络——实例分割
weixin_43227526的博客
04-16 6931
Mask-RCNN网络——实例分割
超越Mask R-CNN的模型BlendMask的复现
m0_60673947的博客
11-09 671
一、模型介绍 在2020年四月Hao Chen, Kunyang Sun, Zhi Tian, Chunhua Shen, Yongming Huang, Youliang Yan 发表了《BlendMask: Top-Down Meets Bottom-Up for Instance Segmentation》,提出了BlendMask，是一阶段的密集实例分割方法，结合了Top-down和Bottom-up的方法的思路。它通过在anchor-free检测模型FCOS的基础上增加了Bottom Modu.
U3D：Mask和RectMask2D
Niiiinomiya的博客
12-12 1595
比如100个物体，我把前50个物体合在一起提交给GPU渲染，后50个物体合一起提交给GPU渲染，那么渲染100个物体用通过2批渲染绘制完成,也就是2次Drawcall。2. 当子级UI进行渲染的时候会去检查这个 Stencil Buffer内的标记，如果当前覆盖的区域存在标记（即该区域在Image的覆盖范围内），进行渲染，否则不渲染。1. Mask会赋予Image一个特殊的材质，这个材质会给Image的每个像素点进行标记，将标记结果存放在一个缓存内（这个缓存叫做。对所有需要裁切的UI元素，进行裁切操作。
复现点云实例分割模型SoftGroup
m0_60731542的博客
10-17 1774
如何进行环境配置（无sudo权限下）和在公开数据集和自己的点云数据上运行
【数据集介绍】3D Mask Attack Dataset（3DMAD数据集）
小C的博客
09-16 3277
【编辑时间】2018.09.16 【数据集介绍】3D Mask Attack Dataset（3DMAD数据集） 【数据集链接】http://www.idiap.ch/dataset/3dmad   概述 该数据库由76500帧17人组成，共255个视频(每个视频300帧)，使用Kinect为真正的子目标和掩膜攻击记录。每个帧包括一幅深度图像、相应的RGB图像和手动标注的眼睛位置。  ...
深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）
最新发布
ak47maker的博客
06-05 826
本文针对ResNet18模型剪枝进行了优化改进，主要包含三个方面：1) 将剪枝目标层从底层conv1调整为中间层layer2.0.conv1，减少对基础特征的破坏；2) 采用基于激活值的前向传播方法评估通道重要性，优先剪除低激活通道；3) 改进微调策略，动态解冻关联层并使用更低学习率(0.0001)进行10轮微调。这些优化有效提升了剪枝后模型的稳定性和性能表现，特别是通过中间层剪枝和基于特征贡献的通道选择策略，避免了底层特征破坏带来的连锁反应。
实例分割复现
03-29
### 实例分割的深度学习复现方法 实例分割是一种计算机视觉任务，旨在识别图像中的每个对象并为其提供像素级掩码。以下是基于PyTorch和TensorFlow实现实例分割的方法。 #### 使用PyTorch进行实例分割 Mask R-CNN 是一种流行的用于实例分割的算法，在 PyTorch 中可以通过 `torchvision` 库轻松实现。以下是一个简单的代码示例： ```python import torch from torchvision.models.detection import maskrcnn_resnet50_fpn, MaskRCNN_ResNet50_FPN_Weights # 加载预训练模型 weights = MaskRCNN_ResNet50_FPN_Weights.DEFAULT model = maskrcnn_resnet50_fpn(weights=weights) # 设置为评估模式 model.eval() # 假设输入图片已经转换为张量形式 input_tensor = ... # 图片张量 (C, H, W) with torch.no_grad(): prediction = model([input_tensor]) masks = prediction[0]['masks'] # 获取预测的掩码 scores = prediction[0]['scores'] # 获取置信度分数 labels = prediction[0]['labels'] # 获取类别标签 ``` 上述代码展示了如何加载预训练的 Mask R-CNN 模型，并对其进行推理[^1]。为了自定义数据集，可以继承 `torch.utils.data.Dataset` 类来创建自己的数据管道[^2]。 #### 使用TensorFlow进行实例分割 在 TensorFlow 中，同样可以利用官方提供的模型库（如 TF Models 或者 Tensorflow Hub）快速构建实例分割模型。下面是一段使用 TensorFlow 的例子： ```python import tensorflow as tf from object_detection.builders import model_builder from object_detection.utils import config_util # 载入配置文件路径 pipeline_config_path = 'path/to/pipeline.config' configs = config_util.get_configs_from_pipeline_file(pipeline_config_path) detection_model = model_builder.build(model_config=configs['model'], is_training=False) def load_image_into_numpy_array(path): img_data = tf.io.gfile.GFile(path, 'rb').read() image = tf.image.decode_jpeg(img_data, channels=3) return np.array(image) image_np = load_image_into_numpy_array('test.jpg') input_tensor = tf.convert_to_tensor(np.expand_dims(image_np, axis=0), dtype=tf.float32) detections = detection_model(input_tensor) ``` 此代码片段演示了如何加载一个预先配置好的检测模型并对单幅图像执行推断操作。对于特定的数据集适配，则需调整 `pipeline.config` 文件以匹配目标数据结构。 #### 环境搭建注意事项 无论是采用 PyTorch 还是 TensorFlow 来完成实例分割项目，都需要确保开发环境满足最低硬件需求及软件版本兼容性。例如，推荐使用的 GPU 配置应至少具备 RTX 2080Ti 同等级别的计算能力；操作系统建议选用稳定版 Linux 发行版如 Ubuntu 20.04 LTS；CUDA 和 cuDNN 版本也应当与所选框架相适应[^3]。 ---
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值