Review of RGB-T and MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking

最新推荐文章于 2024-09-23 21:05:03 发布
原创 最新推荐文章于 2024-09-23 21:05:03 发布 · 713 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#r语言 #开发语言

本文提出MFGNet，一种动态模态感知滤波器生成模块，用于RGB-T跟踪。它通过自适应调整卷积核增强信息交流，利用方向感知目标驱动注意机制解决遮挡、快速运动等问题。实验在多个大型RGB-T数据集上验证了其有效性。

许多RGB-T跟踪器试图利用自适应加权方案(或注意力机制)来实现鲁棒特征表示。与这些工作不同的是，我们提出了一种新的动态模态感知滤波器生成模块(MFGNet)，在实际跟踪中，通过自适应调整卷积核来增强可见光数据和热数据之间的信息通信。给定图像对作为输入，首先用骨干网对其特征进行编码。然后，我们将这些特征映射连接起来，生成带有两个独立网络的动态模态感知滤波器。使用可见滤波器和热滤波器分别对其对应的输入特征图进行动态卷积运算。受残差连接的启发，将生成的可见和热特征图与输入特征图进行汇总。增强后的特性映射将被输入RoI对齐模块，以生成实例级特性用于后续分类。为了解决严重遮挡、快速运动和视野外的问题，我们提出利用一种新的方向感知目标驱动注意机制进行局部和全局联合搜索。空间和时间递归神经网络用于捕获方向感知上下文，以实现准确的全局注意力预测。在3个大型RGB-T跟踪基准数据集上的实验验证了本文算法的有效性。本文的项目页面可以在https://sites.google.com/view/mfgrgbttrack/上找到。

Review in Introduction (diss someone)

  • Resort to multimodal data to improve the performance

  • Modal the relations between dual modalities using
    a. element-wise addition 22
    b. concatenation 23
    c. convolution operation 24
    d. considering the quality of different data 14 18 20 25 26
    e. supressing the noise in the bounding box 14 20 25
    f. selecting useful features 26

  • Utilize attention mechanisms to learn different modality weights and achieve better tracking results 27

  • However, …

  • Dynamatic convolutional operation + spatial and channel attention

Review in Related Work (small scale)

  • RGB-T tracking
  • dynamatic filter generation 根据输入数据学习特征参数
  • visual attention 来源于认知神经系统
  • LSTM 序列数据处理

Method

在这里插入图片描述

A. Problem Formulation

  • i-th input RGB and thermal image pairs Ivi,ItiI_v^i, I_t^iIvi​,Iti​
  • RGB-T tracking task is formulated as a classification problem
  • 区分给定的N个前景或背景的(x1,i,x2,i,...,xN,i)(x_{1,i},x_{2,i},...,x_{N,i})(x1,i​,x2,i​,...,x
最低0.47元/天 解锁文章
RGB-T追踪——【综述】A Survey for Deep RGBT Tracking.
qq_42312574的博客
09-19 5756
本篇论文总结了RGBT追踪中那些基于深度学习的方法，并在GTOT, RGBT210, RGBT234 和LASHER这四个公认的Benchmark上面进行对比（应该是直接搬用的论文里面的实验数据，所以并不是所有对比的Tracker都有四个Benchmark的结果）
Duality-Gated Mutual Condition Network for RGBT Tracking
xuan971130的博客
09-16 1136
摘要： 低质量模态在RGBT跟踪中不仅包含大量的噪声信息，而且包含判别特征。然而，现有的RGBT跟踪算法并没有很好地探索低质量模态的潜力。在这项工作中，提出一种新的双门控互条件网络，充分利用所有模态的判别信息。同时抑制数据噪声的影响。具体来说，设计了一个互条件（mutual condition）模块，该模态以一个模态的判别信息为条件，指导另一个模态中目标外观的特征学习。该模态在存在低质量的模态下，可以有效地增强所有模态的目标表示。为了提高条件的质量并且进一步减少数据噪声，提出了一种双门控机...
RGB-T追踪——【Siamese】SiamCDA: Complementarity- and Distractor-Aware RGB-T Tracking
qq_42312574的博客
09-19 2555
这里的操作是，对于前面融合的结果：第一帧的三阶段融合特征和当前帧的三阶段融合特征，分别对三个阶段的融合特征应用Region Proposal网络生成k个anchor，然后用分类分支和回归分支生成对应的响应图。第一帧的RGB特征、TIR特征和当前帧的特征、TIR特征分别这样融合，得到第一帧的三阶段融合特征和当前帧的三阶段融合特征。４.２　如果“太子框”与上一帧的框的交并比小于０.２，就从剩下的其它框，就选其它框中与上一帧的框的交并比大于等于０.７的框且置信度最高的那个。１.　置信度超过０.３的候选框留下；
[RGBT-VOT3](2020ECCV)CAT：Challenge-Aware RGBT Tracking
m0_37412775的博客
10-17 1186
RGB和红外源数据再RGBT跟踪中有着相同的挑战——如何探索利用这些数据来表达目标外观。本文提出了一个。
融合视角下的RGBT单目标跟踪综述
一点人工一点智能的博客
04-29 3871
智能融合视角下的RGBT单目标跟踪综述RGBT视觉跟踪技术通过结合可见光与红外模态，有效应对低光环境、遮挡和伪装等复杂场景，显著提升跟踪性能，在多个领域展现出广阔的应用前景。
RGBT Tracking论文阅读：Efficient RGB-T Tracking via Cross-Modality Distillation（CVPR2023）
qianxi1234的博客
06-02 1948
目前大多数RGB-T跟踪器采用双流结构来提取单峰RGB和热特征，并采用复杂的融合策略来实现多模态特征融合，这需要大量的参数，从而阻碍了其在现实生活中的应用。另一方面，紧凑型RGB-T跟踪器在计算上可能是高效的，但由于特征表示能力的削弱，会遇到不可忽略的性能退化。为了弥补这种情况，提出了一种跨模态蒸馏框架，以弥补紧凑跟踪器和强大跟踪器之间的性能差距。
ER论文阅读-LMR-CBT: Learning Modality-fused Representations with CB-Transformer for Multimodal Emotion R
m0_49940316的博客
09-23 1165
在获得三种模态的特征表示后，我们设计了一种带有跨模态块（CB-Transformer）的新型Transformer，以实现不同模态的互补学习，主要分为局部时间学习、跨模态特征融合和全局自注意力表示。在跨模态特征融合部分，使用基于残差的模态交互方法，获取三种模态的融合特征。与单模态相比，多模态提供了更多的信息，能够充分反映情感状态。我们提出了一种高效的神经网络，使用CB-Transformer（LMR-CBT）从未对齐的多模态序列中学习融合模态的表示（仅0.41M参数），能够有效融合三种模态的交互信息。
A review of microwave-induced thermoacoustic imaging: Excitation source, data acquisition system and biomedical applications
02-22
Microwave-induced thermoacoustic imaging (TAI) is a noninvasive modality based on the differences in microwave absorption of various biological tissues. TAI has been extensively researched in recent ...
【ABMDRNet2021】 Adaptive-weighted Bi-directional Modality Difference Reduction Network for RGB-T Sema
我的博客
08-04 1635
语义分割模型凭借来自可见光（RGB）和热图像的互补信息，在恶劣的照明条件下获得稳健性。尽管它很重要，但大多数现有的RGB-T语义分割模型执行原始的融合策略，如连接、元素求和和加权求和，以融合来自不同模式的特征。不幸的是，这些策略忽略了不同成像机制导致的模态差异，因此它们受到融合后的特征的可辨识度降低的影响。为了解决这个问题，我们首次提出了 "先桥接后融合 "的策略，其创新之处在于一个新型的自适应加权双向模态差异还原网络（ABMDRNet）。具体来说，我们设计了一个模态差异减少和融合（MDRF）子网络，它首先
RGBT Tracking via Progressive Fusion Transformerwith Dynamically Guided Learning
peer_hellojio的博客
03-01 1952
现有的基于 Transformer 的 RGBT 跟踪方法要么使用交叉注意力来融合两种模态，要么使用自注意力和交叉注意力来对模态特定信息和模态共享信息进行建模。然而，模态之间显着的外观差距限制了融合过程中某些模态的特征表示能力。为了解决这个问题，我们提出了一种名为 ProFormer 的新型渐进式融合变压器，它逐步将单模态信息集成到多模态表示中，以实现鲁棒的 RGBT 跟踪。特别是，ProFormer首先使用自注意力模块来协作提取多模态表示，然后使用两个交叉注意力模块分别将其与双模态的特征进行交互。
Multimodal-Tracking-Survey:对多模式跟踪的全面调查，包括RGB-T和RGB-D跟踪方法
03-19
多式联运调查 有关多模式跟踪的全面调查，包括RGB-T和RGB-D跟踪方法。此列表将进行长期更新。如果您的评论缺少相关论文，请随时联系 。 多式联运跟踪列表 RGB-D追踪 2020年 世界海关组织：刘卫春，唐小安，赵成玲。加权加权运算符可实现可靠的RGBD跟踪。在《传感器20（8），2020年》中。 2019年 3DMS ：亚历山大·古特夫（Alexander Gutev），卡尔·詹姆斯·德波诺（Carl James Debono）。利用深度信息来提高对象跟踪的鲁棒性。在ICST 2019中。 OTR ：Ugur Kart，Alan Lukezic，Matej Kristan，Joni-Kristian Kamarainen，Jiri Matas。使用特定于视图的区分性相关过滤器通过重建进行对象跟踪。在CVPR 2019中。 TACF ：杨柳Ku，龚健文，李东东，肖晶晶。
LasHeR:RGBT跟踪的大规模高多样性基准
04-16
RGBT跟踪的大规模高多样性基准 动机 RGBT跟踪引起了计算机视觉界的关注，但是该研究领域缺乏大规模和高多样性基准数据集，这对于深度RGBT跟踪器的训练和RGBT跟踪方法的综合评估都是必不可少的。 为此，我们提出了一个拉rge-小号Cale的ħIGH-多样性Bénchmark对该工作řGBT跟踪（堰）。 关于LasHeR基准 大规模 多平台成像设备 丰富的场景和类别 现实世界中的挑战 LasHeR由1224个可见和热红外视频对组成，总共有730K帧对。 每个帧对在空间上对齐，并使用边界框手动注释，从而使数据集具有良好且密集的注释。 LasHeR的捕获范围非常广泛，可以涵盖四季，天气，白天和黑夜的各种物体类别，摄像机视点，场景复杂性和环境因素。 由现实世界的应用程序引发的数据创建过程中考虑了一些新的挑战。 LasHeR与公开RGBT数据集的比较 数据集文件结构 顺序├─红外线│────i
RGB-T追踪——【多模态融合】APFNet: Attribute-Based Progressive Fusion Network for RGBT Tracking
qq_42312574的博客
09-15 4956
现有的RGB-T多模态的融合模型通常是设计一个大而复杂的融合模型，或是生成模态相关的置信分数来自适应性地融合RGB模态和TIR模态特征，或是充分考虑模态共享特征-模态独有特征-模态生成响应图这三个方面设计融合模型。这样复杂模型所带来的问题就是需要大量的训练数据，且尽可能包括各种有挑战属性的场景。中提出一个RGB-T追踪的新思路：针对五个典型的挑战（如光照变化(IV)、快速运动(FM)、尺度变化(SV)、遮挡(OCC)和热交叉(TC)）设计不同的分支提取相应特征，再融合起来。
LEARNING TARGET-ORIENTED DUAL ATTENTION FOR ROBUST RGB-T TRACKING
xuan971130的博客
08-13 542
Rui Yang, Yabin Zhu, Xiao Wang, Chenglong Li, Jin Tang Hefei, Anhui Province, China 2019 IEEE International Conference on Image Processing (ICIP) 1.摘要 RGBT跟踪试图利用互补的视觉和热红外数据定位目标。现有的RGBT跟踪器通过鲁棒特征表示学习或自适应模态加权来融合不同的模特。然而，如何整合双注意机制进行视觉跟踪仍是一个尚未研究的课题。本...
Challenge-Aware RGBT Tracking
xuan971130的博客
06-23 2166
chenglong Li, Lei Liu, Andong Lu, Qing Ji, and JinTang 1.RGBT挑战： 光照变化（illumination variation）、热交叉（thermal crossover）和遮挡（occlusion）等 2.RGBT深度学习方法分类： （1）多模态表示学习（如MANet） （2）多模态融合模型（如mfDiMP） （3）上述两种的混合模型（如DAPNet） 1.引言 目前存在的RGBT跟踪器，...
ECCV 2020预会议 直播笔记| - Challenge-Aware RGBT Tracking
yuuzhao的博客
07-31 768
a 三阶段训练方法 T 是啥
Modality-aware Collaborative Learning for Visible Thermal Person Re-Identification（7.28 论文笔记）
weixin_40621204的博客
07-28 671
标题：Modality-aware Collaborative Learning for Visible Thermal Person Re-Identification 来源：会议 ACM 关键词：跨模态ReID 1、动机   现有的跨模态ReID方法通常使用模态共享的分类器学习跨模态的特征表示，以缓解模态差异和极大的跨相机类内差异。然而，这种学习策略忽略了不同模态的区分性信息（discriminative information）。因此，文章为VT-ReID提出一种基于双流网络的模态意识协同学习方法.
复现Multi-Adapter RGBT Tracking（二）——Tracking
qq_45104603的博客
07-31 549
复现Multi-Adapter RGBT Tracking（二）——Tracking
JMMAC rgbt tracking 文章阅读
木木JL的博客
03-02 1280
[Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking 阅读] arXiv.org contributions 主要特点在于 表观信息和运动建模结合起来进行目标跟踪 可离线训练的模态融合权重学习模块（单一模态的跟踪再进行融合） 总结起来就是多模态融合与运动信息建模。 framework 跟踪过程主要包括： 相机运动补偿 单模态目标跟踪（表观模型） MFNet聚合模态跟踪结果 目标运动估计跟踪器 目标表观模型与运动估计
FCMNet: Frequency-aware cross-modality attention networks for RGB-D salient object detection
最新发布
05-30
### FCMNet：频率感知跨模态注意力机制在RGB-D显著性目标检测中的实现与应用 FCMNet（Frequency-aware Cross-modality Attention Networks）是一种专门针对RGB-D显著性目标检测设计的深度学习网络。该网络通过引入频率感知跨模态注意力机制，能够有效融合RGB和深度信息，从而提升显著性目标检测的性能[^1]。 #### 1. 频率感知跨模态注意力机制的核心思想 频率感知跨模态注意力机制的主要目的是解决RGB和深度模态之间的异构性问题。它通过以下方式实现： - **频率分解**：将输入的RGB和深度图像分别分解为低频和高频部分，以捕捉不同尺度的特征[^2]。 - **跨模态对齐**：利用注意力机制对齐两种模态的特征表示，确保RGB和深度信息能够在语义上保持一致[^3]。 - **动态权重调整**：根据任务需求动态调整不同频率分量的重要性，使得模型能够自适应地聚焦于关键区域[^4]。 #### 2. FCMNet的网络结构 FCMNet的整体架构由以下几个模块组成： - **多尺度特征提取**：基于卷积神经网络（CNN）提取RGB和深度图像的多层次特征[^5]。 - **频率分解模块**：通过傅里叶变换或小波变换等方法分解特征图的频率成分[^6]。 - **跨模态注意力模块**：结合软注意力机制（Soft Attention Mechanism）实现RGB和深度模态间的交互[^7]。 - **融合与预测**：将经过处理的特征进行融合，并生成最终的显著性图[^8]。 #### 3. 实现细节 以下是FCMNet中频率感知跨模态注意力机制的一个简化实现示例： ```python import torch import torch.nn as nn import torch.fft as fft class FrequencyAwareCrossModalityAttention(nn.Module): def __init__(self, in_channels): super(FrequencyAwareCrossModalityAttention, self).__init__() self.conv = nn.Conv2d(in_channels * 2, in_channels, kernel_size=1) def forward(self, rgb_features, depth_features): # Frequency decomposition rgb_freq = fft.fftn(rgb_features, dim=(-2, -1)) depth_freq = fft.fftn(depth_features, dim=(-2, -1)) # Concatenate and apply attention combined = torch.cat([rgb_freq, depth_freq], dim=1) attention_weights = self.conv(combined) # Reconstruct features attended_rgb = rgb_freq * attention_weights attended_depth = depth_freq * attention_weights return fft.ifftn(attended_rgb, dim=(-2, -1)), fft.ifftn(attended_depth, dim=(-2, -1)) ``` #### 4. 应用场景 FCMNet及其频率感知跨模态注意力机制在以下领域具有广泛应用： - **机器人视觉**：帮助机器人更准确地识别环境中的目标物体[^9]。 - **增强现实**：通过实时检测显著性目标提升用户体验[^10]。 - **医疗影像分析**：用于多模态医学图像的配准与分割任务[^11]。 ### 注意事项 尽管FCMNet在RGB-D显著性目标检测任务中表现出色，但在实际应用中仍需注意以下几点： - 数据预处理的重要性：RGB和深度图像的分辨率、光照条件等因素可能影响模型性能[^12]。 - 模型复杂度：由于引入了频率分解和注意力机制，模型的计算成本较高，需在精度和效率之间找到平衡点[^13]。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值