《Efficient Regional Memory Network for Video Object Segmentation》论文阅读笔记

最新推荐文章于 2024-06-01 17:57:05 发布
原创 最新推荐文章于 2024-06-01 17:57:05 发布 · 560 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #人工智能

《Efficient Regional Memory Network for Video Object Segmentation》论文阅读笔记

论文链接：https://arxiv.org/pdf/2103.12934.pdf
GitHub地址：https://haozhexie.com/project/rmnet

1.摘要

最近，一些基于时空记忆的网络表明，过去帧中的物体线索（如视频帧以及分割后的物体掩码）对于分割当前帧中的物体很有用。然而，这些方法都是以全局到全局（Global-to-Global Matching）的方式对当前帧和过去帧和过去帧之间进行匹配的，这就会导致相似目标的错误匹配和高复杂的计算量。为了解决这个问题，作者提出从局部到局部（Local-to-Local Matching）的方式匹配当前帧和过去帧 用于半监督视频分割任务中（semi-supervised VOS），并命名为Regional Memory Net- work (RMNet)。
这篇论文的方法可以看作是在《Video Object Segmentation using Space-Time Memory Networks》（这篇文章的思想可以点击链接进行查看）文章的基础上进行的改进。主要改进有两个方面：1.时空记忆模块只保存目标区域；2.当前帧和之前帧之间的匹配计算只计算目标所在区域，文章中确定目标区域使用框的方式，类似于目标检测中的检测框完成的；3.时空记忆模块只保存前一帧的结果（应该是这样），4.增加一个TinyFlowNet生成光流信息用于将前一帧的mask转换到当前帧。

Global-to-Global的错误匹配示例和Local-to-Local可以正确匹配的示例如下

最低0.47元/天 解锁文章
VOS论文阅读 :Kernelized Memory Network for Video Object Segmentation(2020 ECCV)
qq_42246695的博客
08-12 1868
[论文阅读 2020 CVPR]Kernelized Memory Network for Video Object SegmentationSemi-Supervised. KMNSTM在VOS任务中的问题KMN ContributionHide-and-SeekMemory ReadSTM Memory ReadKernelized Memory ReadKernelized Memory NetTwo Stage TrainingResultPerformanceAblation studyQual
论文阅读KMN：Kernelized Memory Network for Video Object Segmentation
jackzhang11的博客
09-14 1632
这篇论文发表在ECCV2020上面，是对于STM的改进。STM存在一个缺点，就是在做query和memory的key之间的matching时，将所有的情况都建立了联系，这种处理是一种non-local的方式，而VOS问题大多数情况下是一种local的情况。所以作者提出了一种Kernelized Memory Network（KMN）来解决这一问题；此外作者还采用了一种Hide-and-Seek策略（17年ICCV一篇若监督的论文），在预训练时人为地对图像的某些区域进行遮挡，以提升物体遮挡识别的鲁棒性。 上
Video Object Segmentation using Space-Time Memory Networks细节记录
我的博客有点东西
11-01 1216
结构细节 只用resnet的前4个stage。最大stride为16。 query和memory的encoder（resnet50）不共享参数。 memory不仅编码了前景mask，还有除了ROI目标之外的其他目标mask。 测试阶段，frame和mask要pad 0，满足能被16整除 query的输入只有当前帧图像 特征align是在所有时间上做的。统一做softmax；在此之前，还对attention map除以了c\sqrt cc​ 在训练和测试阶段，对所有的目标都统一进行soft aggregat
论文介绍--Memory-Attended Recurrent Network for Video Captioning
信道者
01-07 1341
在视频描述模型中加入记忆体
公众号内容拓展学习笔记（2021.4.26）
xiaoxuebajie的博客
04-26 348
公众号内容拓展学习笔记（2021.4.26） ???? 今日要点 CVPR’21 | RMNet：又快又好！基于局部特征记忆网络的视频物体分割 ⭐️⭐️ Abstract: 基于局部特征记忆的视频分割网络RMNet Paper: Efficient Regional Memory Network for Video Object Segmentation Code: https://github.com/hzxie/RMNet Tips: 本文主要是针对STM的全局匹配出现的误匹配
【论文阅读】Rethinking S-T Networks with Improved Memory Coverage for Efficient Video Object Segmentation
weixin_46564151的博客
04-02 4211
【NeurIPS 2021 VOS(video object segmentation)】Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation
论文阅读：Foreground-Aware Relation Network for Geospatial Object Segmentation in High Spatial Resolution
YGwhere
06-01 1779
通过实验分析，前景背景间误差提升有限，瓶颈在于分割对象误差，因此提出了UV6K数据集。主要创新点：（1）FS模块：全局信息的融合（2）loss：基于focal loss解决前景背景不平衡问题。
video object segmentation(VOS)论文目录 2020
qq_42246695的博客
08-21 4315
video object segmentation2020 CVPR2020 ECCV 之前的2017-2019年论文会逐渐陆续添加上，自己的一些论文翻译和总结也会陆续整理上来。 近些年里，跟视频相关的任务逐渐增多，从之前的Video Classification到后来的Video Object Segmentation，相关任务还有很多： Video Captioning/Video Object Detection Video Super-Resolution/Video Instance Segmen
论文笔记STM：Video Object Segmentation using Space-Time Memory Networks
jackzhang11的博客
09-10 6133
STM首次将Memory Network引入VOS领域，引申为一个space-tine的memory network，并实现了较好的分割准确率以及较快的速度。DAVIS2020大赛很多优秀的模型都是根据STM进行改造的，可见其具有很棒的指导意义和研究价值。在STM出现之间，VOS的方法基本包括以下三种： （1）Propagation-based methods：基于mask传播的方法，该方法主要利用前一帧的mask进行不断的传播，其好处是可以解决appearance变化较大的问题，且速度较快，但不适用于oc
记忆网络之Hierarchical Memory Networks（架构分层）
呜呜哈的博客
10-18 4301
记忆网络之Hierarchical Memory Networks（架构分层）这是中科院去年发表的一篇论文“Hierarchical Memory Networks for Answer Selection on Unknown Words”。其仿真代码作者已经开源，是用Lasagne实现的。虽然和上一篇一样都叫做“Hierarchical Memory Networks”，但是却千差万别。上一篇主
有关聊天机器人的近两年的优秀论文和开源程序
TotalRecall的博客
09-14 7356
本文属于研究聊天机器人，前沿学术内容；附带大量 GitHub 程序，先收藏！ 示例程序 Practical Neural Networks for NLP intro: EMNLP 2016 github: https://github.com/clab/dynet_tutorial_examples Structured Neural Networks for NLP: From Idea to Code slides: https://github.com/neubig/yrsnlp-2016/b
ECCV 2020 论文大盘点-视频目标分割篇
我爱计算机视觉
10-07 889
本文盘点 ECCV 2020中所有视频目标分割（Video ObjectSegmentation，VOS）相关论文，总计 11 篇，其中 oral 1 篇，spotlight 2篇，...
视频物体分割（Video Object Segmentation）综述
weixin_38440272的博客
08-06 5430
Lucid Data Dreaming for Video Object Segmentation（2019） 提出了一种in-domain的traing方法，针对1st fame进行finetune，该方法使用的训练数据大量的减少。 对于多物体分割，使用的输入为（4+N）即RGB+segmentation+mask。 数据增强的步骤： 1.光照的改变 2.前景物体的提取 3.对前景物体的affine、non-rigid deformations 4.相机角度调整 5.前景背景融合
《STM：Video Object Segmentation using Space-Time Memory Networks》论文笔记
m_buddy的博客
07-19 3176
参考代码：STM 1. 概述 导读：在视频分割任务中网络从视频帧中获取到的目标信息会随着分割的进行逐渐丰富起来，现有的一些分割方法确实或多或少地采用了之前帧的分割结果，但是并没有将当前帧之前的所有帧得到的信息进行融合，帮助当前帧进行分割，因而这篇文章就是从这角度出发，构建一个大的memory池子从而提出了一种半监督的视频分割方法STM（Spatial-Time Memory Network ），将当前帧的信息与之前帧的所有信息在空间与时序维度上进行特征匹配，从而得到超过之前方法的性能表现，由于采用了之前帧
视频目标分割之Video Object Segmentation using Space-Time Memory Networks
画心
07-08 4521
Video Object Segmentation using Space-Time Memory Networks 文章目录Video Object Segmentation using Space-Time Memory Networks优缺点优点缺点主要结构处理多目标实验细节相关链接 原始文档： https://www.yuque.com/lart/papers/iw3gs6 优缺点 优点 简单 模型： 编解码结构： 编码器提取特征，通过匹配网络与之前帧目标的特征进行匹配 解码器使用类
ECCV 2018 完整论文集 -- List & 下载链接
热门推荐
TomRen
09-02 1万+
下文列表为ECCV2018官网得到了今年接收论文列表，共779篇： 持续更新下载链接 Oral: Convolutional Networks with Adaptive Computation Graphs Progressive Neural Architecture Search Diverse Image-to-Image Translation via Dise...
【CNN】——RMNET推理时去掉残差模块（代码解析）
怡宝2号
12-09 1795
RMNet推理去除残差结构让ResNet、MobileNet、RepVGG Great Again
Memory-Efficient Implementation of DenseNets
AI之路
08-17 5110
论文：Memory-Efficient Implementation of DenseNets 论文链接：https://arxiv.org/abs/1707.06990这篇技术报告旨在改进DenseNet模型占用显存较大的问题。DenseNet是一个全新的模型，对于特征的极致利用可以提高模型的表现能力，同时由于生成大量的intermediate feature（中间特征），因此存储这些inter
Multi-Level Attention Network for Retinal Vessel Segmentation
最新发布
07-11
### Multi-Level Attention Network for Retinal Vessel Segmentation Retinal vessel segmentation plays a crucial role in diagnosing various eye-related diseases, such as diabetic retinopathy and glaucoma. A multi-level attention network is one of the advanced deep learning approaches that enhance the accuracy and precision of vessel segmentation by leveraging attention mechanisms at multiple levels of the neural network architecture. #### Architecture Overview The architecture typically follows an encoder-decoder structure with additional attention modules strategically placed to emphasize relevant features during decoding. This design allows the model to focus on salient regions while suppressing irrelevant background information, which is particularly important in retinal images where vessels are thin and may blend into the background. 1. **Encoder Path**: The encoder consists of convolutional layers followed by pooling operations to extract hierarchical features from the input image. Commonly used architectures like U-Net or ResNet can serve as the backbone for feature extraction. 2. **Attention Modules**: Multiple attention blocks are integrated at different levels (shallow, intermediate, and deep) within the decoder path. These blocks compute attention maps that dynamically weigh the importance of each feature map channel and spatial location. For instance: - **Channel Attention**: Computes the significance of each channel across the entire feature map. - **Spatial Attention**: Focuses on critical spatial locations within each channel. 3. **Decoder Path**: As the feature maps pass through upsampling layers, attention-weighted features from the encoder are combined to refine the segmentation output progressively. Skip connections help preserve spatial details lost during encoding. 4. **Final Segmentation Layer**: A 1x1 convolution layer is applied at the end to produce the final binary segmentation mask indicating vessel and non-vessel pixels. #### Implementation Details Implementing a multi-level attention network involves defining both the encoder and attention-augmented decoder parts. Below is a simplified example using PyTorch: ```python import torch import torch.nn as nn import torch.nn.functional as F class AttentionBlock(nn.Module): def __init__(self, in_channels): super(AttentionBlock, self).__init__() self.conv1 = nn.Conv2d(in_channels, in_channels // 8, kernel_size=1) self.conv2 = nn.Conv2d(in_channels // 8, 1, kernel_size=1) def forward(self, x): # Channel attention att = F.relu(self.conv1(x)) att = torch.sigmoid(self.conv2(att)) return x * att class MultiLevelAttentionUNet(nn.Module): def __init__(self, in_channels=3, out_channels=1): super(MultiLevelAttentionUNet, self).__init__() self.encoder = nn.Sequential( nn.Conv2d(in_channels, 64, kernel_size=3, padding=1), nn.ReLU(), nn.Conv2d(64, 64, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2) ) self.attention_blocks = nn.ModuleList([ AttentionBlock(64), AttentionBlock(128), AttentionBlock(256) ]) self.decoder = nn.Sequential( nn.ConvTranspose2d(256, 128, kernel_size=2, stride=2), nn.ReLU(), nn.Conv2d(128 + 64, 128, kernel_size=3, padding=1), nn.ReLU(), nn.ConvTranspose2d(128, out_channels, kernel_size=2, stride=2), nn.Sigmoid() ) def forward(self, x): enc_features = [] for layer in self.encoder: x = layer(x) if isinstance(layer, nn.MaxPool2d): enc_features.append(x) x = self.attention_blocks[0](x) dec_input = torch.cat((x, enc_features[-1]), dim=1) x = self.decoder(dec_input) return x ``` This implementation provides a foundational framework that can be further enhanced by adding more complex attention mechanisms or integrating pre-trained models for better performance. Additionally, training should involve loss functions tailored for segmentation tasks, such as Dice loss or Binary Cross-Entropy Loss.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

起个什么名字好w

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值