一种通用的图像分割模型

【深度学习】语义分割:论文阅读:(2021-12)Mask2Former 论文:Masked-attention Mask Transformer for Universal Image Segmentation 代码: 官方-代码 代码视频: b站论文讲解笔记参考: 翻译版Mask2Former在MaskFormer的基础上,本文的改进呢**主要是mask attention还有high-resolution features,**本质上是一个金字塔,剩下的一些关于训练上的还有optimization上改进呢,能够提高训练速度 masked attention 我们知道dec 阅读详情


✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨

🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢,在这里我会分享我的知识和经验。🎥

希望在这里,我们能一起探索IT世界的奥妙,提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏:传知代码论文复现

欢迎访问我的主页:Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

概述

模型结构

掩码分类准备

带有掩码机制的Transformer解码器

实验

演示效果

核心逻辑

部署方式

参考资料


 本文所有资源均可在该地址处获取。

概述

  图像分割研究像素分组问题,对像素进行分组的不同语义产生了不同类型的分割任务,例如全景分割、实例分割或语义分割。虽然这些任务中只有语义不同,但目前的研究侧重于为每个任务设计专门的架构。Mask2Former是一个能够处理图像多种分割任务(全景分割、实例分割、语义分割)的新框架。它的关键组件是掩码注意力机制,通过约束预测掩码区域内的交叉注意来提取局部特征。Mask2Former将研究工作减少了至少三倍,且在四个流行的数据集上大大优于最好的专业架构。

模型结构


  Mask2Former的结构和MaskFormer类似,由一个主干网络,一个像素解码器,一个Transformer解码器组成。Mask2Former提出了一个新的Transformer解码器,该解码器使用掩码注意力机制代替传统的交叉注意力机制。为了处理尺寸较小的物体,Mask2Former每次将来自于像素解码器的多尺度特征的一个尺度馈送到Transformer解码器层。除此之外Mask2Former交换了自注意力和交叉注意力(掩码注意力)的顺序,使查询特征可学习,并去除dropout层结构式计算更有效。

掩码分类准备

  掩码分类架构通过预测N个二进制掩码,以及N个相应的类别标签,将像素分成N个块。掩码分类通过将不同的语义(类别或实例)分配给不同的片段来解决任何分割任务。然而,为每个片段找到好的语义表示具有挑战性,例如Mask RCNN使用边界框作为表示,这限制了它在语义分割中的应用。受DETR的启发,图像中的每个片段可以表示为C维特征向量(对象查询),由Transformer解码器处理,该解码器使用集合预测目标进行训练。
一个简单的元架构由三个组件组成:

  • 一个主干网络:从图像中提取低分辨率特征。
  • 一个像素解码器:从主干的输出逐步对低分辨率特征进行上采样,以生成高分辨率逐像素嵌入。
  • 一个Transformer解码器,利用对象查询和图像特征进行交互,以丰富对象查询中包含的语义信息。
  • 二值掩码预测:从逐像素嵌入的对象查询解码出最终的二进制掩码预测。

带有掩码机制的Transformer解码器

  Transformer解码器的关键组件包括一个掩码注意算子,它通过将每个查询的交叉注意力限制在其预测掩码的前景区域,而不是关注完整的特征图来提取局部特征。为了处理小物体,Mask2Former提出了一种有效地多尺度策略来利用高分辨率特征。它以循环的方式将像素解码器特征金字塔的连续特征映射馈送到连续的Transformer解码器层。Mask2Former的改进如下:

掩码注意力机制
  最近的研究表明,基于Transformer的模型收敛缓慢是由于交叉注意力层中关注全局上下文信息,因此交叉注意力需要许多训练轮才能学会关注局部对象区域。Mask2Former假设局部特征足以更新查询特征,且全局上下文信息可以通过自我注意力来收集。为此,Mask2Former提出了掩码注意,这是一种交叉注意的变体,它只关注每个查询预测掩码的前景区域。Mask2Former的掩码注意力机制如下计算:

Xl=softmax(Ml−1+QlKlT)Vl+Xl−1Xl​=softmax(Ml−1​+Ql​KlT​)Vl​+Xl−1​

  在这里ll是层索引,Xl∈RN×CXl​∈RN×C表明在第ll层,NN个CC维的查询向量。Ql=fQ(Xl−1)∈RN×CQl​=fQ​(Xl−1​)∈RN×C。Kl,Vl∈RHlWl×CKl​,Vl​∈RHl​Wl​×C分别是经过fK(⋅)fK​(⋅)和fV(⋅)fV​(⋅)变化下的图像特征。fQ、fKfQ​、fK​和fVfV​是线性变换,(x,y)(x,y)处特征的注意掩码Ml−1Ml−1​为:

Ml−1(x,y)={0 if Ml−1(x,y)=1−∞ otherwiseMl−1​(x,y)={0−∞​ if Ml−1​(x,y)=1 otherwise​

  此时,Ml−1∈{0,1}N×HlWlMl−1​∈{0,1}N×Hl​Wl​是第l−1l−1个Transformer解码器层大小经过调整后的掩码预测的二进制输出。它将大小调整为KlKl​相同的分辨率。M0M0​是从X0X0​(将查询特征输入Transformer解码器之前)获得的二进制掩码预测。

高分辨率特征
  高分辨率提高了模型的性能,特别是小物体的准确率,但是这对计算要求很高。因此,Mask2Former提出了一种有效的多尺度策略,在控制计算量增加的同时引入了高分辨率特征。它不总是使用高分辨率特征图,而是利用由低分辨率到高分辨率特征组成的特征金字塔,一次将多尺度特征的一个分辨率馈送到一个Transformer解码器层。
  具体来说,Mask2Former使用像素解码器产生的特征金字塔,分辨率为原始图像的1/32,1/16,1/8。对于每个分辨率,添加一个正弦位置嵌入epos∈RHlWl×Cepos​∈RHl​Wl​×C,以及一个可学习的尺度级嵌入elvl∈R1×Celvl​∈R1×C。在Transformer解码器层依次使用从最低分辨率到最高分辨率的那些图像,并且重复这个 3 层 Transformer 解码器 L 次。最终的Transformer解码器为3L层。

优化改进
  一个标准的Transformer解码器层由三个模块(自我注意模块,交叉注意和前馈网络)组成,按照顺序处理查询特征。查询特征x0x0​在送入Transformer解码器之前被初始化为零,并与可学习的位置嵌入相关联。dropout应用于残差连接和注意力图。为了优化Transformer的解码器设计,Mask2Former进行了以下三个改进。

  • Mask2Former切换了自注意力和交叉注意力的顺序。第一层自注意层的查询特征与图像无关,不具有来自图像的信息,因此应用自注意不太可能丰富信息。
  • Mask2Former使查询特征x0x0​也是可学习的(仍然保留可学习的查询位置嵌入),并且可学习的查询特征在被用于Transformer解码器中预测掩码M0M0​之前直接被监督。
  • Mask2Former发现dropout是不必要的,而且通常会降低性能,完全消除了解码器的dropout。

实验

COCO数据集全景分割结果

COCO数据集实例分割结果

演示效果

实例分割结果


全景分割结果


语义分割结果

核心逻辑

像素解码器

    def forward_features(self, features):
        srcs = []
        pos = []
        # Reverse feature maps into top-down order (from low to high resolution)
        # 将其通道维数全部转变为256
        for idx, f in enumerate(self.transformer_in_features[::-1]):
            x = features[f].float()  # deformable detr does not support half precision
            srcs.append(self.input_proj[idx](x))
            pos.append(self.pe_layer(x)) # 存放有关像素分辨率的sine位置编码不可学习
        # y: [1,43008,256] 将不同大小的特征图进行拼接
        y, spatial_shapes, level_start_index = self.transformer(srcs, pos)
        bs = y.shape[0]

        split_size_or_sections = [None] * self.transformer_num_feature_levels
        
        for i in range(self.transformer_num_feature_levels):
            if i < self.transformer_num_feature_levels - 1:
                split_size_or_sections[i] = level_start_index[i + 1] - level_start_index[i]
            else:
                split_size_or_sections[i] = y.shape[1] - level_start_index[i]
        y = torch.split(y, split_size_or_sections, dim=1)

        out = []
        multi_scale_features = []
        num_cur_levels = 0
        for i, z in enumerate(y):
            # z:[1,2048,256]->[1,256,2048]->[1,256,32,64]
            out.append(z.transpose(1, 2).view(bs, -1, spatial_shapes[i][0], spatial_shapes[i][1]))
        # append `out` with extra FPN levels
        # Reverse feature maps into top-down order (from low to high resolution)
        for idx, f in enumerate(self.in_features[:self.num_fpn_levels][::-1]):
            x = features[f].float()
            # x: [1,256,256,512] cur_fpn:[1,256,256,512]
            lateral_conv = self.lateral_convs[idx]
            output_conv = self.output_convs[idx]
            cur_fpn = lateral_conv(x)
            # Following FPN implementation, we use nearest upsampling here
            # y:[1,256,256,512] 将最后一个128,256进行拼接
            y = cur_fpn + F.interpolate(out[-1], size=cur_fpn.shape[-2:], mode="bilinear", align_corners=False)
            y = output_conv(y)
            out.append(y)
        # 此时将3个pixel从低到高分辨率的特征图像提取出来了
        for o in out:
            if num_cur_levels < self.maskformer_num_feature_levels:
                multi_scale_features.append(o)
                num_cur_levels += 1
        # 用最大的的特征图来确定是否是模型所关心的前景区域,out[0]表示第一个特征图的情况
        # multi_scale_features表示不同的特征
        return self.mask_features(out[-1]), out[0], multi_scale_features

Transformer解码器代码

def forward(self, x, mask_features, mask = None):
        # x is a list of multi-scale feature
        assert len(x) == self.num_feature_levels
        src = []
        pos = []
        size_list = []

        # disable mask, it does not affect performance
        del mask

        for i in range(self.num_feature_levels):
            # 获取不同特征图的大小
            size_list.append(x[i].shape[-2:])
            # 将不同的特征图添加位置编码,并且展平处理 [1,256,2048]
            pos.append(self.pe_layer(x[i], None).flatten(2))
            # 将图像通道统一,并且获得不同的尺度可学习编码
            src.append(self.input_proj[i](x[i]).flatten(2) + self.level_embed.weight[i][None, :, None])

            # flatten NxCxHxW to HWxNxC
            pos[-1] = pos[-1].permute(2, 0, 1)
            src[-1] = src[-1].permute(2, 0, 1)

        _, bs, _ = src[0].shape

        # QxNxC [100,1,256] output作为查询提供信息
        query_embed = self.query_embed.weight.unsqueeze(1).repeat(1, bs, 1)
        output = self.query_feat.weight.unsqueeze(1).repeat(1, bs, 1)

        predictions_class = []
        predictions_mask = []

        # prediction heads on learnable query features
        # 使用注意力内的区域来进行预测
        outputs_class, outputs_mask, attn_mask = self.forward_prediction_heads(output, mask_features, attn_mask_target_size=size_list[0])
        predictions_class.append(outputs_class)
        predictions_mask.append(outputs_mask)

        # Decoder架构,先进行交叉注意力机制,之后进行自注意力机制,最后进行FFN结构
        for i in range(self.num_layers):
            level_index = i % self.num_feature_levels
            attn_mask[torch.where(attn_mask.sum(-1) == attn_mask.shape[-1])] = False
            # attention: cross-attention first
            output = self.transformer_cross_attention_layers[i](
                output, src[level_index],
                memory_mask=attn_mask,
                memory_key_padding_mask=None,  # here we do not apply masking on padded region
                pos=pos[level_index], query_pos=query_embed
            )

            output = self.transformer_self_attention_layers[i](
                output, tgt_mask=None,
                tgt_key_padding_mask=None,
                query_pos=query_embed
            )
            
            # FFN
            output = self.transformer_ffn_layers[i](
                output
            )

            outputs_class, outputs_mask, attn_mask = self.forward_prediction_heads(output, mask_features, attn_mask_target_size=size_list[(i + 1) % self.num_feature_levels])
            predictions_class.append(outputs_class)
            predictions_mask.append(outputs_mask)

        assert len(predictions_class) == self.num_layers + 1

        out = {
            'pred_logits': predictions_class[-1],
            'pred_masks': predictions_mask[-1],
            'aux_outputs': self._set_aux_loss(
                predictions_class if self.mask_classification else None, predictions_mask
            )
        }
        return out

部署方式

conda create --name mask2former python=3.8 -y
conda activate mask2former
conda install pytorch==1.9.0 torchvision==0.10.0 cudatoolkit=11.1 -c pytorch -c nvidia
pip install -U opencv-python

# under your working directory
git clone git@github.com:facebookresearch/detectron2.git
cd detectron2
pip install -e .
pip install git+https://github.com/cocodataset/panopticapi.git
pip install git+https://github.com/mcordts/cityscapesScripts.git

cd ..
git clone git@github.com:facebookresearch/Mask2Former.git
cd Mask2Former
pip install -r requirements.txt
cd mask2former/modeling/pixel_decoder/ops
sh make.sh

参考资料

github地址
论文地址

​​

论文解读之mask2former 这是一个能够执行三大分割通用任务(语义、实例、全景)的网络第一次在三大任务上胜过每个任务的专用分割SOTA模型。 阅读详情

相关推荐

【论文笔记】Mask2Former: Masked-attention Mask Transformer for Universal Image Segmentation

本文提出了用于通用图像分割(全景、实例或语义)的 Masked-attention Mask Transformer (Mask2Former)。 Mask2Former建立在一个简单的元框架 (MaskFormer)和一个新的 Transformer 解码器上,其关键组成部分为掩码注意力(Masked-attention),通过将交叉注意力限制在预测的掩码区域内来提取局部特征。 与为每个任务(全景、实例或语义)设计专门模型相比,Mask2Former 节省了 3 倍的研究工作,并且有效节省计算资源。 M.

bikahuli的博客 2万+

Mask2Former来了!用于通用图像分割的 Masked-attention Mask Transformer

IoU可以表示为预测分割区域与真实分割区域的交集除以它们的并集:IoU = TP / (TP + FP + FN),其中TP表示真正例(预测为正例且真实为正例的像素数),FP表示假正例(预测为正例但真实为负例的像素数),FN表示假反例(预测为负例但真实为正例的像素数)。在这个过程中,注意力模块可以帮助模型在不同尺度的特征之间学习相关性,并将不同尺度的特征进行融合,以提高分割的准确性。因此,需要将输入图像划分为多个小的区域,例如ViT中的patch,Swin Transformer中的window等。

qq_44089890的博客 1万+

新AI图像分割方法GenSAM:一个提示实现批量图片分割

CCTP思维链通过将任务通用的文本提示映射到任务下的所有图片上,生成个性化的感兴趣物体和其背景的共识热力图,从而获得可靠的视觉提示来引导分割。在具体任务中,给定一个任务描述,例如“伪装样本分割”,模型需要根据任务描述准确地分割图像中伪装的动物,而不依赖于手动提供每个图像的具体提示。这一研究的创新之处在于,通过提供通用任务描述,GenSAM模型可以批量地处理所有相关任务的无标注图片,而无需为每个图片手动提供具体的提示。论文链接:https://arxiv.org/pdf/2312.07374.pdf。

睡前人工智能共享实验室 1233

【实例分割】(二)Mask2Former

mask2former提出了一个统一的分割架构,能够在语义分割、实例分割、全景分割上取得sota的结果,在coco数据集上,全景分割57.8PQ、实例分割50.1AP、语义分割在ADE20K达57.7miou。

向上生长的程序媛的博客 8830

实例分割模型Mask2Former解析

图像分割对具有不同语义的像素进行分组,例如,类别或实例隶属关系。每种语义选择都定义了一个任务。虽然每个任务只是语义不同,但目前的研究重点是为每个任务设计专门的体系结构。我们提出了maskedatattention Mask Transformer (Mask2Former),这是一种能够处理任何图像分割任务(全景、实例或语义)的新架构。它的关键组成部分包括屏蔽注意,它通过在预测的屏蔽区域内约束交叉注意来提取局部特征。除了将研究工作量减少至少三倍之外,它在四个流行数据集上的性能明显优于最佳的专业架构。

absence521的博客 2677

一种通用的图像分割模型(论文复现)

一种通用的图像分割模型(论文复现)

wei_shuo的博客 249

⌈ 传知代码 ⌋ 一种通用的图像分割模型

图像分割研究像素分组问题,对像素进行分组的不同语义产生了不同类型的分割任务,例如全景分割、实例分割或语义分割。虽然这些任务中只有语义不同,但目前的研究侧重于为每个任务设计专门的架构。Mask2Former是一个能够处理图像多种分割任务(全景分割、实例分割、语义分割)的新框架。它的关键组件是掩码注意力机制,通过约束预测掩码区域内的交叉注意来提取局部特征。Mask2Former将研究工作减少了至少三倍,且在四个流行的数据集上大大优于最好的专业架构。模型结构。

Dream_Y.ocean的博客 1240

NIPS 2024 | UnSeg:通用不可学习样本生成器足以对抗所有图像分割任务

图像分割是一项关键的视觉任务,它将图像中的像素分组成语义上有意义的片段,这对于获取对现实世界场景的细粒度理解至关重要。然而,在未经授权的私人数据上训练大规模图像分割模型引发了越来越多的隐私担忧。在这项工作中,作者利用不可学习样本的概念,通过生成并添加不可学习噪声到原始图像中,使图像无法用于模型训练。特别地,作者提出了一种新颖的不可学习分割 (UnSeg)框架,用于训练一个通用的不可学习噪声生成器,该生成器能够将任何下游图像转换为其不可学习的版本。

小白学视觉 104

扩散模型 图像分割

扩散模型 图像分割

jacke121的专栏 1889

手把手教你用Github提交CVE漏洞(附完整截图流程)

本文提供了在GitHub平台提交CVE漏洞的完整实战指南。从前期准备、目标搜寻与漏洞验证,到撰写规范的GitHub Issue进行披露,最后通过官方渠道完成CVE提交,手把手教你如何将安全研究成果转化为获得国际认可的CVE编号。

weixin_28309571的博客 332

UQLab——其他概率分布随机变量转换标准Gaussian分布

1、使用UQLab将其他类型的随机变量转换成标准Gaussian分布; 2、使用科学计数法输出样本,方便后续ANSYS的调用分析; 3、基于MC的可靠度分析。 原随机变量分布类型: % 调用UQLab进行采样 clc clear uqlab %% Specify these distributions as a UQLab INPUT object: PriorOpts.Marginals(1...

ikhui7的博客 3014

通用图像分割任务: 使用 Mask2Former 和 OneFormer

本文介绍两个领先的图像分割神经网络模型: Mask2Former 和 OneFormer。相关模型已经在 ???? Transformers 提供。???? Transformers 是一个开源库,提供了很多便捷的先进模型。在本文中,你也会学到各种图像分割任务的不同之处。???? Transformers 文档链接:https://hf.co/transformers图像分割图像分割任务旨在鉴别区分出一张图片的不同...

Hugging Face 1795

ZXDoc工业级CAN总线仿真工具全解析与应用实践

CAN总线作为现代工业通信的核心协议,其仿真技术是汽车电子和工业控制领域的关键支撑。通过物理层信号模拟、协议层报文解析和应用层人机交互的三维仿真,开发者能够构建完整的硬件在环测试环境。ZXDoc作为工业级仿真工具,集成了DBC工程化管理、HMI面板设计和自动化测试脚本等核心功能,特别适用于ECU开发、产线验证等场景。工具支持ISO11898标准协议,提供错误帧注入、负载压力测试等高级特性,结合Python API可实现复杂测试用例的自动化执行。在新能源车VCU测试等实践中,通过优化采样点等参数配置,显著提升

weixin_30096975的博客 476

OneFormer终极指南:一站式掌握通用图像分割AI模型

🚀 想要用一个模型搞定所有图像分割任务吗?OneFormer正是你需要的终极解决方案!这个由Meta AI团队开发的通用图像分割模型,通过创新的任务条件化训练策略,让语义分割、实例分割和全景分割变得前所未有的简单高效。 ## 🤔 什么是OneFormer? OneFormer是一个革命性的**通用图像分割AI模型**,它打破了传统分割方法需要为每个任务单独训练模型的限制。基于Transfo

gitblog_00239的博客 484

测试dali协议的软件,DALI2.0和DALI1.0完美兼容同一个模块,测试每项可过协议

DALI2.0和DALI1.0完美兼容同一个模块,测试每项可过协议深圳聚积智能 夏先生 13246760327 QQ 349098308■IEC62386-102(V2.0)通过测试内容IEC62386-102/2.1/Test preambleIEC62386-102/3.1/Polarity testIEC62386-102/3.2/Maximum and minimum system v...

weixin_35343788的博客 1352

P1003 [NOIP2011 提高组] 铺地毯 python题解

解题思路: 1、根据题意,所有地毯都是挨着铺的,所以最上面的一条符合题意的一定是从后往前数的第一条符合题意的。 2、符合题意要求x和y同时满足大于等于地毯左边坐标并且小于等于地毯右边坐标。 代码如下: n = int(input()) a = [] for i in range(n): a.append(list(map(int,input().split()))) x,y = list(map(int,input().split())) l = len(a) while l > 0: ..

繁华三千东流水不舍昼夜的博客 1622

NeruIPS 2023 | SegRefiner:通过扩散模型实现高精度图像分割

点击下方卡片,关注“CVer”公众号AI/CV重磅干货,第一时间送达点击进入—>【视觉和Transformer】微信交流群扫码加入CVer学术星球,可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料,以及最前沿项目和应用!发论文搞科研,强烈推荐!在CVer微信公众号后台回复:论文,即可下载论文pdf和代码链接!快学起来!背景介绍尽管图像分割在过去得到了广泛研究和快速发展,但获得细节...

阿木寺的博客 2436

【视频讲解】Python量子计算聚类Q-means:量子k-means算法分析电路数据实现可视化...

全文链接:https://tecdat.cn/?p=37821分析师:Yifan Zhang量子计算在近期已然成为一个频繁出现的热门概念。尽管它在大众认知以及互联网社区中备受瞩目,热度极高,然而就其实际能力而言,当前仍然存在诸多局限(点击文末“阅读原文”获取完整代码数据)。量子计算作为一个全新的领域,带来了相较于传统经典计算模式的重大范式转变。在量子计算的体系中,传统的 0 或 1 的经典比特被一...

拓端研究室TRL 1457

扩散模型的通用指导手册

扩散模型的通用指导方法

ZILLIZ 364

Plant Simulation智能行车/天车/起重机建模(1)-基本对象说明

摘要: MultiPortalCrane(多门式起重机)是一种灵活物料搬运设备,适用于造船、钢铁等行业,支持零件预组装、钢板/钢卷智能料场管理及设备装卸。其特点包括: 多门架协同:支持同轨道多门架运行,内置防撞检测; 模块化控制:可独立调节门架、小车及吊钩的速度、加速度和悬臂长度; 多样化搬运:通过目标位置设置或连接器实现零件运输; 故障与统计:可配置MTTR和可用率,实时监控各部件状态。 通过对话框可自定义轨道尺寸、门架数量及运动参数,并支持编程调用(如getPortals方法)。适用于需高精度定位和协同

qq_31964455的博客 317

【ITS模型】基于MATLAB的ITS宽带短波信道模型的建模和仿真

1.软件版本 MATLAB2010b 2.本算法理论知识 对短波信道建模具有里程碑意义的是沃特森在1970年发表的一篇文章,文章中提出了一种静态模型,并在大气中进行了实验验证。 此静态模型可以描述为高斯散射增益抽头延迟线模型,即Watterson模型。 Watterson信道模型是经典的窄带短波信道模型,在这个模型中,信道衰落是瑞利幅度分布,而在每种传播模式中多普勒扩展的功率谱满足高斯分布。Watterson模型没有定义延时扩展的形状,认为各个多径传输模式中不存在延时扩展。其...

FPGA/MATLAB学习教程/源码/项目合作开发 2758

FastSAM完全指南:如何实现50倍加速的通用图像分割

Fast Segment Anything Model(FastSAM)是一项革命性的图像分割技术,能够在保持高精度的同时实现惊人的50倍速度提升。这个开源项目基于SAM(Segment Anything Model)的核心思想,通过创新的架构设计和优化策略,将图像分割从秒级处理推进到毫秒级时代。 ## 🚀 FastSAM的核心技术突破 ### 速度革命:从秒级到毫秒级 FastSAM最令

gitblog_01047的博客 498

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Segment anything(图片分割大模型)

再进一步理解:chagpt在实现文本任务时我们发现,他同样是聚焦所有点,只需要几个提示词去引导它,对应下图,比方说,找到图中病毒或者找到图中蓝色区域。进一步理解:传统图像分割对于下图处理时,识别房子的是识别房子的模型,识别草的是识别草的模型,识别人的是识别人的模型,而Segment anything可一次识别所有物体。实例分割:(目标检测)只需要给出我们关注的物体的像素的类别标签,有时可以看成二值化的语义分割,掩膜只改在我要的物体。对下面的狗比方说,红色的狗,周边标注时要对每一个像素点标注,过于麻烦。

weixin_48878618的博客 2579

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

无需训练的通用分割模型|SAM3大模型镜像开箱即用

本文介绍了基于星图GPU平台的“sam3 提示词引导万物分割模型”镜像,支持自动化部署与开箱即用。该平台可快速启动SAM3大模型,实现无需训练的图像分割。典型应用场景包括AI抠图、医疗影像分析及工业质检,适用于研究、开发与内容创作等多领域。

weixin_34456923的博客 1068

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Mask2Former: 面向通用图像分割的掩膜注意力掩膜变换器

Mask2Former是Facebook AI研究团队开发的一款深度学习模型,设计用于解决各类图像分割任务,包括全景、实例和语义分割。该项目基于Masked-Attention Mask Transformer架构,能够处理不同的像素语义(如类别或实例成员资格),且无需为每种任务设计专门的架构。 Mask2Former在多种主要分割数据集上取得了优异的成绩,如ADE20K、Cityscapes、...

gitblog_00625的博客 1412

项目分享|Segment Anything(SAM):通用图像分割模型解析

本项目分享Meta推出的Segment Anything(SAM)系列模型,SAM可基于提示词生成图像掩码,零样本性能优异;SAM 2拓展至视频分割,采用流式内存Transformer架构,配套超大规模视频分割数据集。还详解了模型部署流程、代码调用方式及ONNX导出等技术细节,助力开发者快速应用该通用分割模型。

AladdinEdu,你的AI学习实践工作坊。让想法落地,让研究加速。助力高校AI人才成长,点亮创新未来。 450
上一篇: 【DETR3D】3D目标检测
下一篇: 多视图3D目标检测位置嵌入变换
Srlua小谢
Srlua小谢 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄4年 8963粉丝 332原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值