论文阅读:LAPFormer: A Light and Accurate PolypSegmentation Transformer

Da-transunet:将空间和通道双重关注与Transformer u-net相结合用于医学图像分割 在本文中,我们创新性地提出了一种新的图像分割方法,该方法是在TransUNet的体系结构中将da块与Transformer集成在一起。针对特定图像位置和通道特征的da块被进一步集成到跳跃连接中,以提高模型的性能。我们的实验结果,经过广泛的消融研究的验证,表明模型的性能在不同的数据集,特别是Synapse数据集的显著改善。我们的研究揭示了da块在增强Transformer的特征提取能力和全局信息保持方面的潜力。数据块和Transformer的集成在不产生冗余的情况下,大大提高了模型的性能。 阅读详情

这是一个基于Transformer的轻量级图像分割模型。作者们使用MiT(Mix Transformer)作为编码器,并为LAPFormer设计了一个新颖的解码器,该解码器利用多尺度特征,并包含特征精炼模块和特征选择模块,以生成精细的息肉分割掩码。

1,模型的整体结构:

LAPFormer模型的整体结构是一个编解码器(Encoder-Decoder)架构,其中编码器基于Transformer,而解码器则是一个新颖的CNN结构。

2,编码器:

编码器分支会输出四个分辨率不同的特征图,用于捕捉不同尺度的特征。

其中MiT使用卷积核而不是位置编码(Positional Encoding, PE),这样做是为了在测试分辨率与训练分辨率不同时避免性能下降。卷积层被认为更适合于为Transformer提取位置信息。

MiT使用4x4的小图像块作为输入,这被证明有利于密集预测任务,如语义分割。

3,解码器:

解码器部分包含:特征精炼模块(FRM),特征选择模块(FSM),渐进特征融合(PFF)和低层连接。

1)特征精炼模块(FRM):

结构如下:

作用是增强局部特征并减少噪声。

2)特征选择模块(FSM)

在预测之前,FSM通过加权向量强调重要特征图并抑制冗余信息,从而帮助网络集中注意力于重要区域。本质是一个注意力机制。

3)渐进特征融合(PFF)

逐步融合来自上层和下层尺度的特征,减少低分辨率、高语义特征图与高分辨率、低语义特征图之间的信息差距。

4)低层连接

通过跳跃连接将FSM的输出特征图与渐进特征融合中的最低层特征图连接起来,以增强模型对息肉边界的预测能力。

4,实验结果:

scunet++:基于多融合密集跳跃连接的Swin-UNet和CNN瓶颈混合架构的肺栓塞CT图像分割 实验结果表明,所提方法在FUMPE数据集上获得了83.47%的Dice相似系数(DSC)和3.83的Hausdorff距离95百分位数(HD95),在CAD-PE数据集上获得了83.42%的DSC和5.10的HD95。通过与医学专业人士的合作,我们的团队细致地分析了公开可访问的FUMPE和CAD-PE数据集。该方法以CTPA图像为研究对象,结合unet++、多融合密集跳跃连接、Swin-Transformer注意力机制和SwinUNet方法的优点,并对网络进行了一些改进,以增强网络的分割精度和稳定性。 阅读详情

相关推荐

【阅读笔记】旋转目标检测R3Det与BBAvector

最近一个项目需要检测地物带方向的旋转框,于是看了下相关内容,用了R3Det和BBAVectors。这里做下记录。 旋转目标检测 定向包围框OBB(oriented bounding box),水平包围框HBB(horizontal bounding box) 旋转目标检测的挑战:目标纵横比较大 排列紧密,类别不平衡,目标比例差异,遥感图像目标的比例变化很大,传感器的空间分辨率 水平anchor高召回率,旋转anchor密集场景适应性 R3Det 上交和旷世2019提出的旋转目标检测网络,有mmdete

敲碎键盘的博客 2254

推荐使用FaPN:特征对齐金字塔网络,提升密集图像预测效能

推荐使用FaPN:特征对齐金字塔网络,提升密集图像预测效能 【摘要】在计算机视觉领域,密集图像预测任务如对象检测、语义分割和实例分割等至关重要。本文向您推介一款创新的开源项目——FaPN(Feature-aligned Pyramid Network),它为这些任务提供了显著性能提升的解决方案。基于Facebook的Detectron2框架,FaPN通过引入特征对齐模块(FAM)与特征选择模块(F...

gitblog_00078的博客 983

HiFormer Hierarchical Multi-scale Representations Using Transformers for Medical Image Segmentation

由于卷积神经网络的卷积运算的特性,它们在建模长程相关性和空间相关性时受到限制。虽然Transformer最初是为了解决这个问题而开发的,但它们无法捕获低级别的特征。相比之下,局部和全局特征对于密集预测(例如在具有挑战性的环境中进行分割)都是至关重要的。在本文中,我们提出了一种新的方法HiFormer,该方法有效地连接了CNN和用于医学图像分割的Transformer。具体来说,我们使用开创性的Swin Transformer模块和基于CNN的编码器设计了两个多尺度特征表示。

weixin_44832243的博客 3917

Transformer

1. 序列到序列任务中的编码器-解码器架构 Transformer :通用特征提取器 seq2seq (一种任务类型)从原序列到目标序列 例:翻译任务 encoder-decoder 完成seq2seq的其中一种网络结构 attention机制 RNN Encoder-Decoder网络架构 使用循环神经网络,将变长源序列X编码成定长(难点)向量表示c,并将学习的定长向量表示c解码成变长木变序列Y。 2.序列到序列任务中的注意力机制 Seq2Seq with Attention网络架构 加权平均

onion___的博客 2100

Nature新热门!特征提取,预测误差直降4628倍!

AI科研灵感致力于成为您在人工智能领域的领航者,定期更新人工智能领域的重大新闻与最新动态,和您一起探索AI的无限可能。

Aimoxin111的博客 1398

pikachu靶场: 暴力破解第四关(token防爆破)

Token是服务端生成的一串字符串,以作客户端进行请求的一个令牌,当第一次登录后,服务器生成一个 Token 同时将此 Token 返回给客户端。此外,Token 是有时效的,一段时间之后或下一次请求时用户需要重新验证。

X_shiguang的博客 1720

有关特征融合的算法汇总

YOLO系算法的思想都是,首先通过特征提取网络对输入图像提取特征,得到一定大小的特征图(比如13*13),然后将输入图像划分网格成13*13个单元格,接着如果Ground Truth中某个目标的中心坐标落在哪个单元格中,那么就由该单元格来预测该目标,每个单元格都会预测固定数量的边界框(v1中是2个,v2中是5个,v3中是3个),这几个边界框中只有和Ground Truth的IOU最大的边界框才会被选定用来预测该目标。(先融合多层的特征,然后在融合后的特征上训练预测器,只有在完全融合之后,才进行检测。

qq_59815419的博客 7478

Fortify SCA 24.4 最新可用版

Fortify Static Code Analyzer(Fortify SCA) 是一款由 Micro Focus(原惠普旗下)开发的 静态应用安全测试(SAST)工具,专注于在软件开发早期通过分析源代码或编译后的二进制文件,识别潜在的安全漏洞、代码缺陷和合规性问题。以下是其核心特点与功能:核心功能 静态代码分析 在不运行程序的情况下,通过语法、语义分析检测代码中的安全漏洞(如 SQL 注入、跨站脚本(XSS)、缓冲区溢出等)和代码质量问题。

棉花糖的博客 3182

Attentional Feature Fusion

AFF

qq_42882457的博客 3152

某商场G区火灾自动报警与控制系统设计

某商场G区火灾自动报警与控制系统设计 摘要:随着我国经济建设的迅速发展,人民生活水平不断提高,城市用地日益紧张,促使建筑物正朝着高层化、密集化方向发展。高层建筑的特点决定其火灾的危险性和高层建筑的火灾自动报警系统的重要性,一套完整的火灾自动报警及联动控制系统是高层建筑发生火灾时人们生命财产的有利保障,是能否快速准确地发现火情,把火灾扑灭在萌芽状态的关键所在。文章通过消防设计,论述了火灾自动报警及消...

weixin_44026784的博客 5368

Mathcad在LLC谐振变换器设计中的公式推导实战

本文通过Mathcad软件,详细演示了LLC谐振变换器设计的核心公式推导实战。文章阐述了如何利用Mathcad作为“会思考的草稿纸”,从定义基本参数、应用基波近似法(FHA)模型,到逐步推导电压增益公式及确定工作边界频率(fmin, fmax),并展示了如何通过动态参数扫描进行优化设计,帮助电源工程师高效、直观地完成理论计算,为后续仿真与实现奠定坚实基础。

q1w3e5r7t9y的博客 297

CV——day87 基于挤压激励跳跃连接路径网络的光学遥感图像舰船检测

这项工作提出了一种新的神经网络结构称为挤压激发skip-connection道路网络(SESPNets)船舶检测光学遥感图像。 基于两阶段检测框架,这项工作提出了一个等级skip-connection结构来提高网络的能力来描述该地区的多尺度特性的建议阶段。同时,SE模块纳入网络通道级信息的提高学习。该地区由ROI对齐,其次是级融合,和softNMS后处理。 实验结果表明,SESPNets模型的查全率、查准率和F1分别为0.841、0.831和0.836,取得了较好的性能。和实验证明了该方法改进结果从每个

想太多的学习日志 872

【移动APP测试】Firebase Test Lab (FTL) 实战指南:从零搭建自动化测试流水线

本文详细介绍了Firebase Test Lab (FTL) 在移动APP测试中的实战应用,从零搭建自动化测试流水线。通过真实设备、虚拟设备和iOS设备的全面覆盖,FTL帮助开发者高效进行兼容性测试、性能监控和崩溃分析,显著提升应用质量。文章还提供了设备选择策略、成本控制技巧和CI/CD集成的最佳实践,助力团队优化测试流程。

weixin_29281915的博客 254

LUCF-Net:轻量级U形级联 用于医学图像分割的融合网络

在本研究中,通过添加Transformer,作者增强了现有U型神经网络架构在医学图像分割中的性能。尽管Transformer架构在提取全局信息方面非常强大,但由于其高复杂性,其在捕捉局部信息方面的能力有限。为了应对这一挑战,作者提出了一种新的轻量级U型级联融合网络(LUCF-Net)用于医学图像分割。它采用了不对称的结构设计,并结合了局部和全局模块,以增强其在局部和全局建模方面的能力。此外,还设计了一个多层级联融合解码网络,以进一步增强网络的信息融合能力。

qq_45880982的博客 1917

【iOS开发】dyld: Symbol not found: ___chkstk_darwin 问题解决

【iOS开发】dyld: Symbol not found: ___chkstk_darwin 问题解决 Xcode 13.2.1 运行到iOS12.x版本上崩溃报错如下:dyld: Symbol not found: ___chkstk_darwin dyld: Symbol not found: ___chkstk_darwin Referenced from: /private/var/containers/Bundle/Application/A424CEFD-51DB-450E-9D62-B8

wm9028的专栏 6566

【Windows Server 2019】企业虚拟专用网络服务的配置和管理(上)

博文介绍了部署企业虚拟专用网的定义,目的,以及好处。同时说明了实验拓扑图以及虚拟专用网络的工作原理。

VMware, Windows, Linux, Cisco, Container, Kubernetes, Kali 1万+

异常检测之MemSeg

Memseg半监督检测

thisiszdy的博客 2006

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

周报(20240204)

日期:2024.1.29 - 2024.2.4 本周工作: 1. 阅读论文 本周主要对这篇文献进行了阅读: 《用可学习的跳跃连接缩小U-Net中的语义差距:以医学图像分割为例》 背景 医学图像分割和随后对目标对象的定量评估为疾病诊断和治疗规划提供了有价值的信息。最近的语义分割方法通常依赖于类UNet的编码器-解码器架构,其中编码器产生高级语义特征,解码器逐渐对这些隐藏特征进行上采样,以产生具有每像素概率的分割图。大多数最先进的医学图像分割方法都采用编码器-解码器架构。然而,这种U形框架在通过简单的跳跃连接

m0_54187478的博客 1597

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

大模型面试准备(十三):深入剖析Transformer - 为什么选择自注意力机制?

本文全面概述了Transformer为什么选自注意力机制。因为自注意力机制能更好地处理长序列,计算起来简单,能并行计算,顺序操作更少。在翻译任务中,基于自注意力层的Transformer模型做得很好,还更省钱。同时,GPT已经将自注意力机制和Transformer模型用在更多地方,比如处理图片和视频,将多模态的展望成为现实。

2401_84033492的博客 1045

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

AutoInt模型——Transformer玩特征交互

浅层模型的FM, FFM, HOFM, FwFM到深层模型的DNN, PNN, NFM, AFM, DeepFM, DCN, xDeepFM, FiBiNet等,关于特征交叉方向的模型paper, FiBinet模型通过SENET动态选择有用的交互特征, 然后再用一个双线性交互进行增强提高。在模型上并没有引入很复杂的结构,却能起到比较不错的效果。

Cybenko 3207

文献翻译(BRAU-Net++: U-Shaped Hybrid CNN-Transformer Network for Medical Image Segmentation)

准确的医学图像分割对于临床量化、疾病诊断、治疗计划和许多其他应用至关重要。基于卷积和基于Transformer的u形结构在各种医学图像分割任务中都取得了显著的成功。前者可以有效地学习图像的局部信息,同时需要卷积运算所固有的更多特定于图像的归纳偏差。后者可以使用自注意在不同的特征尺度上有效地捕捉长程依赖性,而随着序列长度的增加,它通常会遇到二次计算和内存需求的挑战。

m0_54187478的博客 3298

[深度学习论文笔记]A Tri-attention Fusion Guided Multi-modal Segmentation Network

A Tri-attention Fusion Guided Multi-modal Segmentation Network 一种三注意力融合引导的多模态分割网络 Published: 2 Nov 2021 Pattern Recognition 2021 论文: https://arxiv.org/abs/2111.01623 摘要:   在多模态分割领域,可以考虑不同模态之间的相关性来提高分割结果。考虑到不同磁共振模态之间的相关性,本文提出了一种基于新型三注意力融合的多模态分割网络。网络包括具有N个图像

Slientsake的博客 6522

SegNetr: 重新思考 U 形网络中的局部-全局交互和跳过连接

近年来,U 形网络因其简单且易于调整的结构而在医学图像分割领域占据主导地位。然而,现有的U型分割网络:1)大多侧重于设计复杂的自注意力模块来弥补基于卷积运算的长期依赖性的不足,这增加了网络的总体参数数量和计算复杂度;2)简单地融合编码器和解码器的特征,忽略它们空间位置之间的联系。在本文中,我们重新思考上述问题并构建了一个轻量级的医学图像分割网络,称为SegNetr。具体来说,我们引入了一种新颖的 SegNetr 模块,它可以在任何阶段动态地执行局部-全局交互,并且仅具有线性复杂度。

Philo的博客 1431

〔理论与代码分析〕Fast-SCNN:Fast Semantic Segmentation Network(语义分割、经典网络、速度、高效、实时)

理论与代码分析:Fast-SCNN:Fast Semantic Segmentation Network 关键词:语义分割、经典网络、速度、高效、实时

Le0v1n 的博客 3762

Transformer中的各种改进

LLM大行其道的时代,Transformer成为了当下最流行的模型结构,没有之一。为了达到加速或提效的目的,在vanilla Transformer的基础上,业界探索了针对不同组件的各种改进。

hellozhxy的博客 3298
上一篇: 论文阅读:FCB-SwinV2 Transformer for Polyp Segmentation
下一篇: 图像分割论文阅读:PlutoNet: An Efficient Polyp Segmentation Network with Modified Partial Decoder
蓝海渔夫
博客等级 码龄14年 6138粉丝 52原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蓝海渔夫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值