第十七章：DANet——Dual Attention Network for Scene Segmentation ——双重注意力网络用于场景分割

原创 已于 2023-07-30 22:01:19 修改 · 4k 阅读 · 35 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #人工智能 #深度学习 #机器学习 #神经网络 #cnn

于 2023-07-16 20:44:06 首次发布
本文提出了一种名为DANet的双重注意力网络，用于解决场景分割任务中的上下文依赖问题。DANet通过位置注意力模块和通道注意力模块捕获空间和通道维度的长距离上下文信息，增强特征表示，提高了分割准确性。在Cityscapes、PASCALContext和COCOStuff数据集上，DANet实现了最先进的分割性能。

&原文信息

原文：<Dual Attention Network for Scene Segmentation>

引用：Fu J, Liu J, Tian H, et al. Dual attention network for scene segmentation[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019: 3146-3154.

原文链接:https://arxiv.org/pdf/1809.02983.pdficon-default.png?t=N6B9https://arxiv.org/pdf/1809.02983.pdf

0.摘要

        在本文中，我们通过基于自注意机制捕捉丰富的上下文依赖来解决场景分割任务。与以往通过多尺度特征融合来捕捉上下文的方法不同，我们提出了一种双重注意力网络（DANet），以自适应地将局部特征与全局依赖性相结合。具体而言，我们在扩张的FCN之上附加了两种类型的注意力模块，分别对空间和通道维度中的语义依赖关系进行建模。位置注意力模块通过对所有位置的特征进行加权求和，选择性地聚合每个位置的特征。无论距离如何，相似的特征都会相互关联。同时，通道注意力模块通过整合所有通道图像中的相关特征，选择性地强调相互依赖的通道图像。我们将两个注意力模块的输出相加，进一步改善特征表示，从而为更精确的分割结果做出贡献。我们在三个具有挑战性的场景分割数据集上取得了最新的分割性能，即Cityscapes，PASCAL Context和COCO Stuff数据集。特别是，在不使用粗数据的情况下，我们在Cityscapes测试集上实现了81.5％的Mean IoU分数。

图1：场景分割的目标是识别包括物体和区域在内的每个像素。物体/区域的各种尺度、遮挡和光照变化使得解析每个像素变得具有挑战性。

1.引言

        场景分割是一个基础且具有挑战性的问题，其目标是将场景图像分割和解析为与语义类别相关的不同图像区域，包括场景元素（如天空、道路、草地）和离散对象（如人、汽车、自行车）。对这个任务的研究可以应用于潜在的应用场景，如自动驾驶、机器人感知和图像编辑。为了有效地完成场景分割任务，我们需要区分一些容易混淆的类别，并考虑具有不同外观的对象。例如，“田地”和“草地”的区域通常难以区分，“汽车”的对象可能经常受到尺度、遮挡和光照的影响。因此，有必要增强像素级别识别的特征表示的区分能力。

        最近，基于全卷积网络（FCN）[13]的最先进方法被提出来解决上述问题。一种方法是利用多尺度上下文融合。例如，一些方法[3,4,30]通过结合不同的扩张卷积和池化操作生成的特征图来聚合多尺度上下文。另一些方法[15,28]通过扩大卷积核大小、引入有效的编码层等方式来捕捉更丰富的全局上下文信息。此外，编码器-解码器结构[6,10,16]被提出来融合中层和高层语义特征。尽管上下文融合有助于捕捉不同尺度的物体，但它不能从全局视角利用物体或场景元素之间的关系，而这对于场景分割也是必不可少的。

        另一类方法利用循环神经网络来利用长距离依赖关系，从而提高场景分割的准确性。基于2D LSTM网络的方法[1]被提出来捕捉标签之间的复杂空间依赖关系。工作[18]构建了一个带有有向无环图的循环神经网络，以捕捉局部特征之间丰富的上下文依赖关系。然而，这些方法通过循环神经网络隐式地捕捉全局关系，其有效性高度依赖于长期记忆的学习结果。

（LSTM（Long Short-Term Memory：长短期记忆）网络是一种特殊的循环神经网络（Recurrent Neural Network，RNN），主要用于处理和建模序列数据。相比于传统的RNN，LSTM网络能够更好地处理长期依赖关系，避免了传统RNN中的梯度消失和梯度爆炸问题。 LSTM网络中的基本组成单元是LSTM单元，它包含了三个关键的门控机制：输入门（input gate）、遗忘门（forget gate）和输出门（output gate）。这些门控机制能够根据输入和当前状态，选择性地更新和传递信息 ）

        为了解决上述问题，我们提出了一种新的框架

最低0.47元/天 解锁文章
Joney Feng
关注
YOLO11改进|注意力机制篇|引入DualAttention注意力
A1983Z的博客
10-13 1042
YOLO11中添加DualAttention注意力
DANet（双重注意力融合网络）与CBAM
爱CV
02-04 1万+
原文地址：Dual Attention Network for Scene Segmentation 源代码pytorch：https://github.com/junfu1115/DANet/ 复现代码keras：https://github.com/niecongchong/DANet-keras Abstract 提出了双重注意网络（DANet）来自适应地集成局部特征和全局依赖。在传统的扩张FCN之上附加两种类型的注意力模块，分别模拟空间和通道维度中的语义相互依赖性。 位置注意力模块通过所有
Dual Attention Network for Scene Segmentation(论文翻译)
MJ17709005513的博客
03-27 4850
paper：https://arxiv.org/abs/1809.02983 code：https://github.com/junfu1115/DANet 摘要 在本文中，我们通过基于自注意力机制捕获丰富的上下文依赖关系来解决场景分割任务。与以前通过多尺度特征融合捕获上下文的工作不同，我们提出了一个双注意力网络 (DANet) 来自适应地将局部特征与其全局依赖关系集成。具体来说，我们在扩张的 FCN 之上附加了两种类型的注意力模块，它们分别对空间和通道维度的语义相互依赖关系进行建模。...
不定期读一篇Paper之Dual Attention
张先生－您好的博客
05-17 1904
不定期读一篇Paper之Dual Attention Network 前言 ​ 　　本文提出双重注意力网络，使用自注意力机制捕获了空间和通道的全局依赖，从而实现获得长距离的依赖，使得表达信息更加的充分。建议读原文并阅读源码理解。 框架 整体结构 ​ 　　DAN整体上把位置自注意力机制和通道注意力机制并行处理，处理方式有一点像CBAM，只不过CBAM使用到的是注意力机制，区别与自注意力机制。位置自注意力能捕获长距离的信息，从而获得更多的空间信息，通道子注意力能够捕获不同通道之间的依赖，从而对特征进行
Dual Attention Network for Scene Segmentation（DANET）
06-29 5329
之前的文章介绍了一下通道注意力、空间注意力、混合域注意力还有自注意力机制。今天介绍一下利用自注意力和混合域注意力相结合进行图片分割的网络-DANET（Dual Attention Network for Scene Segmentation ），这是发表在CVPR2019上的文章。 在这篇paper中，作者通过基于自注意机制捕获丰富的上下文依赖来解决场景分割任务。不同于以往通过多尺度特征融合来获取上下文的方法，作者提出了一种双注意网络(Dual Attention Netw...
Dual Attention Network for Scene Segmentation
qq_38343151的博客
06-14 780
该论文提出新型的场景分割网络DANet，利用自注意力机制进行丰富语义信息的捕获，在带有空洞卷积的FCN架构的尾部添加两个并行的注意力模块：位置注意力模块和通道注意力模块。 提出背景 当前的主流的语义分割网络应该就是空洞卷积和解码器这两个元素的组合。但这两个组件都是利用局部特征（因为卷积操作就是稀疏连接嘛，一次卷积能覆盖特征图全部的信息吗？当然不行啦，所以说是利用局部特征），作者提出两种模块，分别从分辨率维度（spatial）和通道维度来引入全局的信息，将局部特征和全局的依赖性自适应地整合到一起。 之
语义分割之Dual Attention Network for Scene Segmentation
画心
04-05 2740
Dual Attention Network for Scene Segmentation 文章目录Dual Attention Network for Scene Segmentation相关工作本文工作双注意力网络Position Attention ModuleChannel Attention ModuleAttention Module Embedding with Networks双注...
[pytorch]语义分割之DANet: Dual Attention Network for Scene Segmentation(训练代码+预测代码)
ZJE
09-08 6202
一，DANet（双注意力模型） 网络结构： 网络有两个注意力分支，一个是位置注意力模型(PAM)，另一个是通道注意力模型(CAM)： 位置注意力模型(PAM)： A是通过Resnet网络提起的特征图，维度是CxHxW。把A送入一个卷积层，得到特征图B和C，B和C的维度也是CxHxW。然后把B和C的维度reshape成CxN,（N=HxW）即N是特征图的像素个数。然后再把B进行矩阵转...
【语义分割】DANet Dual Attention Network for Scene Segmentation
Forrest97的博客
10-07 1689
A∈RC×H×WA\in \mathbb{R}^{C \times H \times W}A∈RC×H×W {B,C}∈RC×H×W\{\mathbf{B}, \mathbf{C}\} \in \mathbb{R}^{C \times H \times W}{B,C}∈RC×H×W RC×N\mathbb{R}^{C \times N}RC×N sji=exp⁡(Bi⋅Cj)∑i=1Nexp⁡(Bi⋅Cj)s_{j i}=\frac{\exp \left(B_{i} \cdot C_{j}\right)}{
DANet：Dual Attention Network for Scene Segmentation 论文翻译（学习）2019-8-30
nawu2018的博客
09-03 1228
目录 1.Introduction 2.Related Work 3.Dual Attention Network 3.1.Overview 3.2.Position Attention Module 3.3.Channel Attention Module 3.4.Attention Module Embedding with Networks...
Dual Attention Network for Scene Segmentation文档及源码
09-27
双重注意力网络：中科院自动化所提出新的自然场景图像分割框架（附源码）。本文提出了一个新的自然场景图像分割框架，以往的方法更为灵活、有效，在三个场景分割数据集Cityscapes、PASCAL Context 和 COCO Stuff上取得了当前最佳分割性能。
python具有可扩展的特性_扩展特征的三个方法《Python机器学习》之十五
weixin_39680121的博客
11-20 707
分箱、离散化、线性模型与树数据表示的最佳方法不仅取决于数据的语义，还取决于所使用的模型种类。线性模型与基于树的模型（比如决策树、梯度提升树和随机森林）是两种成员很多同时又非常常用的模型，它们在处理不同的特征表示时就具有非常不同的性质。我们回到第2 章用过的wave 回归数据集。它只有一个输入特征。下面是线性回归模型与决策树回归在这个数据集上的对比（见图4-1）：正如你所知，线性模型只能对线性关系建...
《DANet：Dual Attention Network for Scene Segmentation》论文笔记
m_buddy的博客
06-13 603
代码地址：DANet/ 1. 概述 导读：这篇文章通过self-attention机制去捕获更加丰富的上下文信息，并不同于之前的一些工作是在多个尺度（ASPP，Unet形式的网路等）上去获取上下文信息，这篇文章使用channel-wise和spatial-wise两种方式的attention机制在一个尺度（dilation FCN基础上）的特征图进行特征优化，之后再将这些特征elment-sum相加起来得到最后的融合特征（当然实际的处理并不是这么直接，论文里面的代码在细节上还是做了一些trick），从而构
Semantic Segmentation---DANet:Dual Attention Network for Scene Segmentation（论文解读九）
一一
06-02 2494
Title：DANet：Dual Attention Network for Scene Segmentation Note data：2019/06/02 Abstract：该论文提出新型的场景分割网络DANet，利用自注意力机制进行丰富语义信息的捕获，在带有空洞卷积的FCN架构的尾部添加两个并行的注意力模块：位置注意力模块和通道注意力模块。 Code ：pytorch 目录 DANet论文...
论文笔记（6）：Dual Attention Network for Scene Segmentation
呆呆象呆呆的博客
12-21 2283
Dual Attention Network for Scene Segmentation CVPR 2019 语义分割（Object Detection） 研究背景 问题： 为了有效地完成场景分割的任务，我们需要区分一些混淆的类别，并考虑不同外观的对象。例如，草原与牧场有时候是很难区分的，公路上的车也存在尺度、视角、遮挡与亮度等的变化。因此，像素级识别需要提高特征表示的识别能力。 In order to accomplish the task of scene segmentation eff
DANet：Dual Attention Network for Scene Segmentation论文解读和源代码详解
热门推荐
我的博客有点东西
05-19 1万+
今天为大家带来一篇CVPR2019的语义分割的一篇文章，我认为也是非常新颖的了。其中的对偶结构生成的attention map我认为很容易嵌入到其他网络中完成其他任务。 论文地址：here 官方源码：(基于pytorch)[https://github.com/junfu1115/DANet] 提出背景 当前的主流的语义分割网络应该就是空洞卷积和解码器这两个元素的组合。但这两个组件都是利用局部特征...
场景分割 - 任务：基于COCO2017数据集使用注意力机制增强的编码器-解码器架构进行场景分割。 - 注意力机制：可以研究如DANet（Dual Attention Network）等空间注意力机制。 - 结果：进行相关的定性与定量评估，以及可视化
最新发布
12-09
### 基于COCO2017数据集使用DANet等空间注意力机制增强的编码器 - 解码器架构进行场景分割 DANet（Dual Attention Network for Scene Segmentation）是一种利用空间注意力机制增强的编码器 - 解码器架构，能更好地捕捉特征图中的远程依赖关系，从而提升场景分割效果。 在COCO2017数据集上应用DANet进行场景分割，通常需要以下步骤： 1. **数据准备**：下载并处理COCO2017数据集，将其划分为训练集、验证集和测试集。确保数据的标注信息（如掩码、类别标签）正确可用。 2. **模型搭建**：构建DANet模型，其核心是空间注意力模块和通道注意力模块。编码器部分可以采用常见的骨干网络（如ResNet）提取特征，解码器部分利用注意力模块增强特征表示并进行上采样以生成最终的分割掩码。 ```python import torch import torch.nn as nn # 示例代码，简化的DANet模型框架 class DANet(nn.Module): def __init__(self, in_channels, num_classes): super(DANet, self).__init__() # 编码器部分 self.encoder = ... # 可使用ResNet等骨干网络 # 空间注意力模块 self.spatial_attention = ... # 通道注意力模块 self.channel_attention = ... # 解码器部分 self.decoder = ... def forward(self, x): # 编码器特征提取 features = self.encoder(x) # 空间注意力特征增强 spatial_features = self.spatial_attention(features) # 通道注意力特征增强 channel_features = self.channel_attention(features) # 合并注意力特征 combined_features = spatial_features + channel_features # 解码器生成分割掩码 output = self.decoder(combined_features) return output # 初始化模型 model = DANet(in_channels=3, num_classes=...).to('cuda' if torch.cuda.is_available() else 'cpu') ``` 3. **模型训练**：使用训练集对DANet模型进行训练，定义合适的损失函数（如交叉熵损失）和优化器（如Adam）。在训练过程中，不断调整模型参数以最小化损失函数。 ```python import torch.optim as optim # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) # 训练循环 for epoch in range(num_epochs): running_loss = 0.0 for images, masks in train_loader: images = images.to('cuda' if torch.cuda.is_available() else 'cpu') masks = masks.to('cuda' if torch.cuda.is_available() else 'cpu') optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, masks) loss.backward() optimizer.step() running_loss += loss.item() print(f'Epoch {epoch + 1}, Loss: {running_loss / len(train_loader)}') ``` 4. **模型评估**：使用验证集和测试集对训练好的模型进行评估，计算相关的评估指标。 ### 结果的定性与定量评估 #### 定量评估 - **交并比（IoU）**：计算预测掩码与真实掩码的交集与并集的比例，是场景分割中常用的评估指标。对于每个类别，可以分别计算IoU，然后取平均值得到平均交并比（mIoU）。 ```python def calculate_iou(pred_mask, true_mask): intersection = torch.logical_and(pred_mask, true_mask).sum().item() union = torch.logical_or(pred_mask, true_mask).sum().item() if union == 0: return 1.0 return intersection / union # 示例代码，计算mIoU total_iou = 0 num_samples = 0 for images, masks in test_loader: images = images.to('cuda' if torch.cuda.is_available() else 'cpu') masks = masks.to('cuda' if torch.cuda.is_available() else 'cpu') outputs = model(images) pred_masks = torch.argmax(outputs, dim=1) for i in range(len(masks)): iou = calculate_iou(pred_masks[i], masks[i]) total_iou += iou num_samples += 1 mIoU = total_iou / num_samples print(f'mIoU: {mIoU}') ``` - **像素准确率（Pixel Accuracy）**：计算预测正确的像素数占总像素数的比例。 ```python def calculate_pixel_accuracy(pred_mask, true_mask): correct_pixels = (pred_mask == true_mask).sum().item() total_pixels = true_mask.numel() return correct_pixels / total_pixels # 示例代码，计算像素准确率 total_accuracy = 0 num_samples = 0 for images, masks in test_loader: images = images.to('cuda' if torch.cuda.is_available() else 'cpu') masks = masks.to('cuda' if torch.cuda.is_available() else 'cpu') outputs = model(images) pred_masks = torch.argmax(outputs, dim=1) for i in range(len(masks)): accuracy = calculate_pixel_accuracy(pred_masks[i], masks[i]) total_accuracy += accuracy num_samples += 1 pixel_accuracy = total_accuracy / num_samples print(f'Pixel Accuracy: {pixel_accuracy}') ``` #### 定性评估 - **可视化分割结果**：将预测的分割掩码与原始图像、真实掩码进行可视化对比，直观地观察模型的分割效果。可以使用Matplotlib等库进行可视化。 ```python import matplotlib.pyplot as plt # 示例代码，可视化分割结果 for images, masks in test_loader: images = images.to('cuda' if torch.cuda.is_available() else 'cpu') masks = masks.to('cuda' if torch.cuda.is_available() else 'cpu') outputs = model(images) pred_masks = torch.argmax(outputs, dim=1) for i in range(len(images)): plt.figure(figsize=(15, 5)) plt.subplot(1, 3, 1) plt.imshow(images[i].permute(1, 2, 0).cpu().numpy()) plt.title('Original Image') plt.subplot(1, 3, 2) plt.imshow(masks[i].cpu().numpy()) plt.title('True Mask') plt.subplot(1, 3, 3) plt.imshow(pred_masks[i].cpu().numpy()) plt.title('Predicted Mask') plt.show() ``` ### 可视化 除了上述的分割结果可视化，还可以可视化注意力图，观察模型在不同位置和通道上的注意力分布，帮助理解模型的决策过程。 ```python # 示例代码，可视化空间注意力图 for images, _ in test_loader: images = images.to('cuda' if torch.cuda.is_available() else 'cpu') features = model.encoder(images) spatial_attention_map = model.spatial_attention(features) for i in range(len(images)): plt.figure(figsize=(10, 5)) plt.subplot(1, 2, 1) plt.imshow(images[i].permute(1, 2, 0).cpu().numpy()) plt.title('Original Image') plt.subplot(1, 2, 2) plt.imshow(spatial_attention_map[i].squeeze().cpu().numpy()) plt.title('Spatial Attention Map') plt.show() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值