MEMORY-AUGMENTED ATTENTION MODELLING FOR VIDEOS

最新推荐文章于 2023-12-04 14:56:34 发布
翻译 最新推荐文章于 2023-12-04 14:56:34 发布 · 346 阅读 · 0

本文介绍了一种针对视频描述任务的记忆增强注意力模型。该模型通过利用过去的注意力信息来改进当前的注意力分配，解决了现有模型难以捕捉视频及其描述中复杂高阶交互的问题。这种方法与人类的认知过程相似，能够更准确地推理视频中的关键信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文学习

MEMORY-AUGMENTED ATTENTION MODELLING FOR VIDEOS

作者： Rasool Fakoory, Abdel-rahman Mohamed,yy, Margaret Mitchellzy, Sing Bing Kangyy, Pushmeet Kohliyy
单位：Google，Microsoft Research，University of Texas at Arlington
杂志：ICLR
时间：2017
针对问题：现有的注意力机制模型不能建模高阶交互，如视频描述，因视频及其描述较为复杂。
解决方法：
1、提出基于记忆的注意力机制
2、当推理何处应该进行注意时，使用过去注意力的记忆；与人类认知的中央执行系统类似；

MAST: A Memory-Augmented Self-Supervised Tracker
weixin_45032769的博客
11-06 1055
Abstract 最近对自监督密集跟踪的兴趣已经取得了迅速的进展，但是性能仍然离监督方法还有很远的一段路要走。 我们提出了一种基于无注释视频训练的密集跟踪模型，该模型在现有基准上比以往的自监督方法有很大的提高(+15%)，并且取得了与监督方法相当的性能。 在本文中 ，我们首先通过深入的实验重新评估了用于自我监督训练和重建损失的传统选择，最后阐明了最优选择。 其次，我们通过使用一个关键的内存组件来增强我们的体系结构，从而进一步改进了现有的方法。 第三，我们以大规模半监督视频对象分割为基准(又名。 密集跟踪)，
（六：2020.08.22）MICCAI 2019 追踪之论文纲要（上）
Jojo论文基地
08-23 4133
MICCAI 2019 论文全解读之PARTII（关于图像分割）（修正于2020.08.22）前言《Searching Learning Strategy with Reinforcement Learning for 3D Medical Image Segmentation》（通过强化学习搜索学习策略进行3D医学图像分割）《Comparative Evaluation of Hand-Engineered and Deep-Learned Features for Neonatal Hip Bone S
《Neural Machine Translation with Key-Value Memory-Augmented Attention》（IJCAI 2018）
wwx123521的博客
03-21 559
问题：重复翻译，漏译问题，传统基于注意力的NMT不能有效追踪注意力历史，导致decoder会忽略历史的注意力信息 解决方法：一个及时更新的key-memory来跟踪注意力历史，一个固定的value-memory来存储翻译过程中源语句的表示。通过两个存储器之间的非平凡变换和迭代交互，解码器关注于更合适的源端单词，用于在每个解码步骤预测下一个目标单词，因此可以提高翻译的充分性。 思路：首先利用d...
Multimodal Memory Modelling for Video Captioning
人工智能
06-11 1109
Multimodal Memory Modelling for Video Captioning Junbo Wang, Wei Wang, Yan Huang, Liang Wang, Tieniu Tan (Submitted on 17 Nov 2016) Video captioning which automatically translates video cli
Memory-Augmented Non-Local Attention for Video Super-Resolution
mytzs123的博客
12-04 175
最近的视频超分辨率工作已经提出了将相邻帧与当前帧对齐的各种方法，或者通过使用光流的显式扭曲[2，17，20，27]，或者使用可变形卷积的学习隐式对齐[28，31]。这阻碍了现有视频超分辨率方法在真实世界视频中的应用，例如以自我为中心的体育视频（见第4.1节中的跑酷数据集），以及一些来自动画、电影和vlog的视频（见补充材料中的其他示例）。在图1（a）中，虽然最先进的视频超分辨率方法EDVR[31]和TOFlow[36]因融合未对齐的帧而失败，但我们的方法重建了尖锐的细节，如屋顶上的条纹和挥动的手臂。
CVPR2021-超分辨率
lucky_chen
09-15 3314
Learning the Non-Differentiable Optimization for Blind Super-Resolution[PDF] Image Super-Resolution With Non-Local Sparse Attention[PDF] GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution[PDF] BasicVSR: The Search for Essential Compon
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【CVPR2022】论文列表与下载——PartTwo
TomRen
06-12 2705
CVPR2022完整论文列表
CVPR2018下载+CVPR2018论文百度云+2018CVPR论文下载+2018CVPR百度云
王博（Kings）的博客
06-25 5079
链接：https://pan.baidu.com/s/1QUXtDp5RQVNx-R55TkL13Q 提取码：
计算机视觉论文-2021-04-02
中科院AI算法工程师的博客
04-02 1561
本专栏是计算机视觉方向论文收集积累，时间：2021年4月2日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Commonsense Spatial Reasoning for Visually Intelligent Agents AUTHORS: Agnese Chiatti ; Gianluca Bardaro ; Enrico ...
CVPR2020开源论文（部分带阅读笔记）
热门推荐
知识混子_的博客
05-29 3万+
CVPR2020论文开源项目合集CNNExploring Self-attention for Image RecognitionImproving Convolutional Networks with Self-Calibrated ConvolutionsRethinking Depthwise Separable Convolutions: How Intra-Kernel Correlations Lead to Improved MobileNets图像分类Compositional Convo
超分辨率(CVPR2020) ~《Video Super-resolution with Temporal Group Attention》
weixin_41447373的博客
10-12 4160
有兴趣的朋友可以加微信：qyf--1314相互讨论技术 论文：https://arxiv.org/abs/2004.01398 官方代码：https://github.com/Phoenix1327/tea-action-recognition
论文笔记：Meshed-Memory Transformer for Image Captioning
sajo_manaka
10-16 1118
Meshed-Memory Transformer for Image Captioning 本文在transformer的基础上，对于Image Caption任务，提出了一个全新的fully-attentive网络。同时本文借鉴了之前任务提出的两个key novelties: 以multi-level 的方式进行encode，在对low-level relation 和 high-level relation进行建模时，该模型可以通过使用持久的内存向量来学习和编码先验知识。 语句生成同时用到了low-
One-shot Learning with Memory-Augmented Neural Networks
fourierr的博客
01-22 8078
摘要 尽管深度学习应用领域最近取得了较大的进展，但是小样本学习的挑战是一直存在的，传统的基于梯度的网络需要大量的数据去学习，通常需要经过大量广泛的迭代训练。当给模型输入新数据时，模型必须低效的重新学习其参数从而充分的融入新的信息，并不会造成较大的干扰影响。具有增强记忆能力的网络结构，例如NTMs具有快速编码新信息的能力，因此能消除传统模型的缺点。这里，我们证明了记忆增强神经网络（memory-a...
Memory-Augmented Attribute Manipulation Networks for Interactive Fashion Search
aimtohit的博客
07-09 781
Bo Zhao， Jiashi Feng ，Xiao Wu ,Shuicheng Yan   Southwest Jiaotong University ，National University of Singapore ，360 AI Institute     1.Motivation   基于时尚服饰的图像搜索引擎，用户给出一张图片，系统检索到相似的图片推荐给用户。但有时用户可能...
Learning Attribute Representations with Localization for Flexible Fashion Search
aimtohit的博客
10-23 787
整体结构 FSN的整体结构：前面是AlexNet的结构，将AlexNetd的两个全连接层换为卷积层conv6,conv7，并进行GAP操作，最后接入A个全连接层进行attribute的分类。使用attribute cls的loss进行训练，使得网络能够利用AAM产生不需要监督信息的ROI，使用ROI提取对应的conv5输出的特征图，并送入相应的全连接层组成的分支，共有A个，对应A个可能的attri...
2D Attention Network for Scene Text Recognition
Francis Liu
07-18 3247
paper地址：2D Attentional Irregular Scene Text Recognizer. 继 Transformer-based-OCR 后又一篇基于语言、翻译模型架构的不规则文字识别的paper，主要贡献如下： attention部分使用多层双向transformer的block（BERT）替代了单transformer block； label只用于计算loss，不...
MAST: A Memory-Augmented Self-Supervised Tracker论文解读和代码剖析
我的博客有点东西
01-16 847
官方代码 作者开源的官方代码有一处错误，在代码剖析部分将指出。有人已经在github上提出了issue，作者一直没回应。我也是在阅读代码的时候发现了这个错误。 背景 VOS任务很少有使用自监督的，即在训练中不借助mask，只用frame image来训练。 作者巧妙的在STM的基础上，将value换成frame自身，使用过去帧重构当前帧作为代理任务（proxy），实现自监督的vos。效果还不错，在davis val上是64的J&F。 核心思想 仍然是采用STM的memory bank的思想。mem
MEMO RAG: Memory-Augmented RAG
最新发布
01-04
### Memory-Augmented RAG 技术原理 Memory-Augmented RAG (Retrieval-and-Generation) 是一种增强型架构，在传统RAG基础上引入外部记忆机制，旨在提升模型处理复杂对话和长期依赖的能力。这种架构不仅利用了检索到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值