论文阅读笔记——Attention UNet

最新推荐文章于 2025-03-14 11:44:02 发布
最新推荐文章于 2025-03-14 11:44:02 发布
阅读量1.1w 收藏 67
点赞数 10
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42135399/article/details/102853105
版权
本文是关于Attention UNet的论文阅读笔记。Attention机制通过结合上下文信息，使得模型能聚焦于目标区域，通过训练调整注意力系数，增强目标区域的特征，抑制无关区域，从而提升模型的表现。在Attention UNet中，经过处理的特征图与上采样的g相加，通过ReLU和sigmoid得到注意力系数，再与原始特征图相乘，达到注意力聚焦的效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 参考：https://blog.youkuaiyun.com/rosefun96/article/details/88868527

 Attention coefficients（取值0~1）与feature map相乘，会让不相关的区域的值变小（抑制），target区域的值变大（Attention）。

Attention的意思是，把注意力放到目标区域上，简单来说就是让目标区域的值变大。

看下面这张图，xl本来是要直接通过跳跃连接和g上采样的结果进行concat，这里先对xl和g转成一样的size，然后相加，relu, sigmoid得到attention coefficients。

为什么这样就能让注意力放到target区域呢？

文中提到要结合上下文的信息，其实上代表xl，g代表下，因为g学到的东西更多，信息更准确。为什么要加g呢？加g是很重要的，没有g就没有办法实现注意力系数的训练更新。我是这么理解的：g里面的信息，就是注意力该学习的方向。可以这么想，如果直接将g上采样一次得到g'，g'和xl的size一样。那么同样是target的区域的像素值，g'里的像素值会比xl里的像素值大，

最低0.47元/天 解锁文章
多模态论文笔记——DiT（Diffusion Transformer）
haopinglianlian的博客
11-28 2653
本文详细介绍Transformer架构图像生成方面的应用，将Diffusion和Transformer结合起来的模型：DiT。目前DiT已经成为了AIGC时代的新宠儿，视频和图像生成不可缺少的一部分。
【图像去噪】论文精读：SUNet: Swin Transformer UNet for Image Denoising
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
11-09 684
论文题目：SUNet: Swin Transformer UNet for Image Denoising —— SUNet:用于图像去噪的Swin Transformer UNetISCAS 2022！Swin U-Net用于图像去噪！图像恢复是一个具有挑战性的问题，也是一个长期存在的问题。在过去的几年里，卷积神经网络 (CNN) 几乎主导了计算机视觉，并在包括图像恢复在内的不同级别的视觉任务上取得了相当大的成功。
各种用于图像分割的Unet模型的实现-Unet，RCNN-Unet，Attention Unet，RCNN-Attention Unet，嵌套Unet-Python开发
05-25
各种Unet模型用于图像分割的实现-Unet，RCNN-Unet，注意力Unet，RCNN-Attention Unet，嵌套式Unet细分Unet细分-Pytorch-Nest-of-Unets各种Unet模型用于图像分割的实现UNet- U-Net：用于生物医学图像分割的卷积网络https://arxiv.org/abs/1505.04597 RCNN-UNet-基于U-Net的递归残差卷积神经网络（R2U-Net）用于医学图像分割https：// arxiv。 org / abs / 1802.06955 Attention Unet-Attention U-Net：学习在哪里寻找胰腺https://arxiv.org/abs/1804.03999 RCNN-Attentio
Attention UNet
weixin_46720482的博客
10-25 1万+
Attention UNet论文解析 - 知乎Attention UNet论文地址： https://arxiv.org/pdf/1804.03999.pdf 代码地址： https://github.com/ozan-oktay/Attention-Gated-NetworksAttention UNet在UNet中引入注意力机制，在对编码器每个分辨率上的特征与解…图像分割UNet系列------Attention Unet详解_gz7seven的博客-优快云博客_attention unet。
注意力机制结合UNet，速度飙升98.82%！
最新发布
2401_88556812的博客
03-14 909
Transformer 与 U-Net 结合：将 Transformer 的全局自注意力机制与 U-Net 的局部细节提取能力相结合，显著提升了分割性能（例如在 Synapse 数据集上，平均 DSC 提升至 77.48%，比传统 U-Net 提升了约 3.8%）。或在解码器阶段使用自注意力机制以建模像素间的全局关系。多尺度特征利用：通过多尺度特征图的门控操作，模型在不同数据集上均表现出良好的泛化能力，Dice 分数在 CT-82 数据集上达到了 83.1%，相比传统 U-Net 提升了约 1.1%。
【医学分割】attention-unet
可乐大牛的博客
07-06 7806
attention-unet主要的贡献就是提出了attention gate，它即插即用，可以直接集成到网络模型当中，作用在于抑制输入图像中的不相关区域，同时突出特定局部区域的显著特征，并且它用soft-attention 代替hard-attention，所以attention权重可以由网络学习，并且不需要额外的label，只增加少量的计算量。 ： ：一次选择一个图像的一个区域作为注意力，设成1，其他设为0。他是不能微分的，无法进行标准的反向传播，因此需要蒙特卡洛采样来计算各个反向传播阶段的精度。 考虑到
推荐开源项目：Attention_UNet——新一代图像分割神器
gitblog_00027的博客
06-14 722
推荐开源项目：Attention_UNet——新一代图像分割神器 去发现同类优质开源项目:https://gitcode.com/ 1、项目介绍 在深度学习领域，尤其是在医疗影像处理和计算机视觉应用中，准确的图像分割至关重要。Attention_UNet 是一个基于Keras实现的开源项目，它提供了两种带有注意力机制的U-Net模型： AttentionResUNet 和 AttentionSER...
语义分割系列7-Attention Unet（pytorch实现）
yumaomi的博客
05-19 2万+
本文介绍了AttentionUnet模型和其主要中心思想，并在pytorch框架上构建了Attention Unet模型，构建了Attention gate模块，在数据集Camvid上进行复现。
【车道线检测论文阅读笔记——经典论文粗读汇总】
selami的博客
01-05 4936
自动驾驶领域（主要是车道线检测）的经典论文粗读和笔记整理
【语义分割系列：四】Unet 论文阅读翻译笔记 医学图像 pytorch实现
鹿鹿的博客
05-26 8497
UNet 2015 MICCAI Olaf Ronneberger, Philipp Fischer, Thomas Brox U-Net: Convolutional Networks for Biomedical Image Segmentation 5 Minute Teaser Presentation of the U-net 5分钟预告片介绍 GitHub 时间顺序： old —...
浅谈Attention UNet
rosefun96的博客
03-28 2万+
1 理论 其中，g就是解码部分的矩阵，xl是编码（左边）的矩阵，x经过乘于系数（完成Attention）和g一起concat，进入下一层解码。 数学公式： 2 实践 Pytorch Attention Unet: class Attention_block(nn.Module): def __init__(self,F_g,F_l,F_int): super(Atte...
unet论文_[论文笔记] Attention U-Net
weixin_39794213的博客
11-20 330
[论文笔记] Attention U-Net: Learning Where to Look for the Pancreas说在前面因为是笔记，不是论文翻译，所以文字里还带有一些自己的思考，这篇文章的核心在于AGs，可以直接下跳Attention Gates for Image Analysis，但是为什么这么设计？还是需要阅读参考文献来做支撑。...
图像分割UNet系列------Attention Unet详解
热门推荐
gz7seven
08-12 5万+
图像分割unet系列------Attention Unet详解1、Attention Unet主要目标2、Attention Unet网络结构     Attention Unet发表于2018年中期（比Res-UNet要早一些），它也是UNet非常重要的改进版本之一。当然，Attention Unet同样也是应用在医学图像分割领域，不过文章主要是以胰脏图像分割进行实验与论证的。 1、Attention Unet主要目标     作者在摘要与简介中很清楚的表明了要解决的问题以及要达到的目标。具体如下所示：
深度学习论文精读[5]：Attention UNet
weixin_37737254的博客
07-18 6512
以CNN为基础的编解码结构在图像分割上展现出了卓越的效果，尤其是医学图像的自动分割上。但一些研究认为以往的FCN和UNet等分割网络存在计算资源和模型参数的过度和重复使用，例如相似的低层次特征被级联内的所有网络重复提取。针对这类普遍性的问题，相关研究提出了给UNet添加注意力门控（Attention Gates, AGs）的方法，形成一个新的图像分割网络结构：Attent...
文章阅读：Attention U-Net
purson2的博客
12-12 2184
原文地址：Attention U-Net: Learning Where to Look for the Pancreas paper 贡献 论文采用Learn to Pay Attention 中提出的注意方法，进一步提出基于网格的门控，使注意系数特定于局部区域。与基于尺寸特征向量的门控比例，这提高了性能最大化，方法可用于密集预测，因为不执行自适应池。 论文提出了应用于医学成像任务的前馈CNN...
Attention UNet结构及pytorch实现
weixin_41693877的博客
09-07 1万+
注意力机制可以说是深度学习研究领域上的一个热门领域，它在很多模型上都有着不错的表现，比如说BERT模型中的自注意力机制。本博客仅作为本人在看了一些Attention UNet相关文章后所作的笔记，希望能给各位带来一点思考，注意力机制是怎么被应用在医学图像分割的。 参考文章： 【语义分割系列：七】Attention Unet 论文阅读翻译笔记 医学图像 python实现 医学图像分割-Attention Unet 如果不知道什么是注意力机制，可以看看这篇博客：浅谈Attention-based Model【
9.论文学习Attention Unet++: A Nested Attention-Aware U-Net for Liver CT Image Segmentation
weixin_44846755的博客
12-09 3139
9.论文学习Attention Unet++: A Nested Attention-Aware U-Net for Liver CT Image Segmentation
深度学习| Attention U-Net（包含Attention Gate代码）
qq_40306845的博客
04-24 9761
Attention U-Net的入门理解，以及其中Attention Gate模块结构和代码的理解。
Attention U-Net简介及其在Keras
爱CV
05-29 1174
1.什么是注意力（Attention）? 在图像分割中，注意力是一种只突出训练中相关激活的方法。这减少了浪费在无关激活上的计算资源，为网络提供了更好的泛化能力。本质上，网络可以“关注”图像的某些部分。 a)Hard Attention Attention有两种形式，Hard和soft。Hard attention的工作原理是通过裁剪图像或迭代区域建议来突出显示相关区域。由于Hard attention一次只能选择一个图像的一个区域，它是不可微的，需要强化学习来训练。 由于它是不可微分的，这意味着对于
AttentionUnet
01-24
### Attention Unet 模型架构 Attention Unet是一种改进版的Unet，在原始Unet的基础上加入了注意力机制，从而提高了模型对重要特征区域的关注度。这种设计使得Attention Unet在网络结构中能够更加聚焦于目标对象的关键部分。 #### 基础架构特点 基础架构继承了经典Unet的设计理念，采用了U形编码解码器框架以及跳跃连接（skip connection），这有助于保留空间信息并减少下采样过程中丢失的信息量[^4]。 ```mermaid graph TB; subgraph Encoder "编码器" I0[input] C1[conv -> ReLU -> BN] D1[maxpooling] C2[conv -> ReLU -> BN] D2[maxpooling] ... Clast[conv -> ReLU -> BN] end subgraph Decoder "解码器" U1[upsample] A1[attention gate] M1(concatenate) R1[conv -> ReLU -> BN] Ulast[upsample] Alast[attention gate] Mlast(concatenate) Rlast[conv -> ReLU -> BN] end O(output) I0 --> C1;C1 --> D1;D1 --> C2;C2 --> D2; Clast -.-> U1; U1 --> A1;A1 --> M1;M1 --> R1; R1 --> Ulast;Ulast --> Alast;Alast --> Mlast;Mlast --> Rlast; Rlast --> O; ``` 此图展示了简化版本的Attention Unet架构，其中包含了编码路径、解码路径及其间的跳跃连接。特别值得注意的是，在每个跳跃连接处都加入了一个注意力门控单元(attention gate)，用来增强那些对于当前任务更重要的特征通道的影响。 #### 注意力模块工作原理 具体而言，注意力模块接收两个输入：一个是来自编码阶段同一层次的空间位置特征$x$；另一个是从更深一层传递过来经过上采样的特征映射$g$。这两个向量会共同作用在一个权重矩阵之上，并通过激活函数得到最终输出$h(x,g)$作为加权后的特征表示形式： $$ h(x, g)=\sigma(\alpha \cdot f(g)+\beta \cdot x) $$ 这里$\sigma()$代表sigmoid函数,$f()$是一个线性变换操作，而$\alpha,\beta$则分别是可训练参数。 #### 应用场景 在医学影像分析领域，尤其是肝脏CT图像分割方面，Attention Unet展现出了卓越的表现。通过对感兴趣器官或病变部位施加重磅关注，可以有效提升预测精度和鲁棒性。此外，考虑到实际部署环境可能存在的硬件资源限制情况，研究者们也在探索如何优化此类大型卷积神经网络以便更好地适应边缘计算平台的需求[^3]。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值