LiRongLu_的博客

本发明提出了一种基于双向交叉注意力机制的遥感图像船舰目标检测方法，旨在提升检测效率和准确性，同时降低计算复杂度。该方法首先将遥感图像分割成lookup tokens，并通过卷积层与位置嵌入生成输入tokens。然后，从输入tokens中采样压缩tokens，利用MHBC模块实现压缩tokens与lookup tokens间信息的有效交换。接着，压缩tokens通过自注意力和MLP进行特征提炼，而lookup tokens则通过反向MHBC模块接收全局上下文信息。最终，模型能够在保持高性能的同时，减少计算资源

目的： 在仅有视频级动作标签的情况下，定位视频中的动作实例。现有方法： 主要采用基于分类的定位管道，通过视频分类损失优化片段级预测。但此方法存在分类与检测之间的差异，导致前景与背景片段分离不准确。提出的新方法： 通过无监督片段聚类探索片段间的底层结构，减少对视频分类损失的依赖。核心组件：片段聚类组件：将片段分组到多个潜在集群中。集群分类组件：将集群进一步分类为前景或背景。伪标签生成： 引入基于最优传输的自标记机制，生成高质量伪标签以匹配先验分布，确保片段的聚类与其餐饮标签准确关联

这篇文章介绍了视频理解领域中的时间动作定位（TAL），其目的是在未剪辑的视频中定位动作的开始和结束时间，并识别其类别。虽然全监督的方法在该领域取得了显著进展，但由于需要帧级标注，成本高昂，因此弱监督时间动作定位（WTAL）方法得到了更多关注。WTAL只需要视频级标签（即动作类别）进行训练，但由于缺少帧级标注，在定位精确的动作上面临挑战，尤其是在处理包含动作和背景信息的模糊片段时。

弱监督时态动作定位(WTAL)学习仅使用类别标签来检测和分类动作实例。大多数方法广泛采用现成的基于分类的预训练(CBP)来生成用于动作定位的视频特征。由于分类和局部化的优化目标不同，使得局部化结果存在严重的不完全性问题。为了在没有额外注释的情况下解决这一问题，本文考虑从视觉语言预训练(VLP)中提取自由动作知识，因为惊讶地发现普通VLP的定位结果存在过完整问题，而这只是对CBP结果的补充。为了融合这种互补性，提出了一个新的蒸馏协作框架，其中两个分支分别作为CBP和VLP。

引入先验信息以提升模型性能的方法。文章提出了可学习的高斯先验，通过学习高斯分布的参数（如均值和方差），来建模和利用视频中动作片段的时间分布特性。高斯先验的定义源自对标注数据的统计分析、模型训练过程和领域知识，并通过概率建模、损失函数和特征增强等方式融合到模型中。实验结果显示，高斯先验在动作定位、边界调整和错误纠正方面显著提升了模型性能。通过具体示例，文章详述了高斯先验的引入和应用步骤，包括数据统计、初始参数设定、模型训练等。总之，引入可学习的高斯先验为解决WSTAL任务提供了一种有效方案。

弱监督时序动作定位旨在仅使用视频级动作标签识别和定位未修剪视频中的动作实例。由于缺乏帧级注释信息，正确区分视频中的前景和背景片段对于动作的时间定位至关重要。然而，除了前景和背景片段外，视频中还存在大量语义相似的片段。这些片段与前景或背景共享相同的语义信息，导致操作实例的边界定位不那么细粒度。受多模态学习成功的启发，我们从多模态输入中提取高质量的语义特征，并构建对比度损失来增强模型区分语义相似片段的能力。本文提出了一种带有判别增强的融合检测网络具体而言，设计了一个融合检测模型。

本文提出了一种基于 actionness 引导的假阳性抑制框架,用于解决弱监督时间动作定位任务。主要包括:1) 自我训练的 actionness 分支,学习与类别无关的 actionness,减少场景信息干扰;2) 假阳性抑制模块,通过监督学习区分真实动作和误检,在测试时过滤抑制;3) 前景增强模块,利用 actionness 指导模型学习前景特征,提高定位准确性。该方法有效抑制了由于类别相关场景导致的大量假阳性。

Equivalent Classification Mapping for Weakly Supervised Temporal Action Localization 弱监督时间动作定位的等效分类映射该论文介绍了用于弱监督时间动作定位的等效分类映射（ECM）方法。 它将预分类和后分类两种分类流程结合到一个统一的框架中。 该方法强调等价机制，确保两个管道之间的分类分数和聚合权重一致。 它还提出了一个权重转换模块和等效的训练策略来提高性能。 ECM 在基准数据集上的动作定位方面显示出有希望的结果，而无需详细的

SODA: Weakly Supervised Temporal Action Localization Based on Astute Background Response and Self-Distillation Learning”提出了一种创新方法来解决弱监督时间动作定位中过度定位、联合定位和欠定位的挑战。和。这些策略旨在分别有效抑制背景响应并增强模型发现完整动作框架的能力。

该论文介绍了 BackTAL，这是一种利用背景点击监督进行弱监督时序动作定位的新方法。 它将焦点从动作帧转移到背景帧，通过强调背景错误来改进定位。 BackTAL 包含分数分离模块和亲和力模块，增强了位置和特征建模。

Improving Weakly Supervised Temporal Action Localization by Bridging Train-Test Gap in Pseudo Labels（CVPR 2023）本文提出了一个有效的管道来学习更好的伪标签。首先，本文提出了一个高斯加权融合模块来保持动作实例的信息，获得高质量的动作边界。其次，本文将伪标签生成表述为一个基于动作实例置信度分数约束下的优化问题。最后，本文引入了∆伪标签的思想，使模型具有自校正能力。

弱监督时间动作定位(WTAL)的目的是在训练数据集中只给定视频级别的类别标签的情况下，对视频动作的时间边界进行分类和定位。由于训练过程中缺乏边界信息，现有方法将WTAL定义为一个分类问题，即生成时态类激活图(TCAM)进行定位。但是，如果只有分类损失，模型就会被次优化，即动作相关的场景足以区分不同的类标签。将与动作相关的场景(即与积极动作相同的场景)中的其他动作视为共同场景动作，该次优化模型会将共同场景动作错误地分类为积极动作。为了解决这种错误分类，本文提出了一种简单而有效的方法，即双向语义一致性约束(Bi

作者提出了一种新的弱监督时序动作定位任务的动作显著性和上下文感知网络(ASCN)。具体来说，时间显著性和上下文模块的设计是为了增强RGB的全局显著性和上下文信息，以及流特征来抑制背景和增强动作。此外，设计了一种基于帧差和双流注意的混合注意机制，对局部动作上下文信息进行建模，进一步放大潜在动作区域的分数，抑制背景区域。最后，利用相似度损失和信道自注意模块自适应地融合增强后的RGB特征和流特征，获得两流的一致性，解决融合问题。

用于弱监督时间动作定位的时间特征增强扩张卷积网络

Weakly-Supervised Action Localization with Expectation-Maximization Multi-Instance Learning(ECCV 2020)

Dual-Evidential Learning for Weakly-supervised Temporal Action Localization（ECCV 2022）

Weakly-supervised Temporal Action Localization by Uncertainty Modeling

ActionFormer: Localizing Moments of Actions with Transformers

Weakly-Supervised Temporal Action Localization via Cross-Stream Collaborative Learning

Cross-modal Consensus Network for Weakly Supervised Temporal Action LocalizationCO2-Net 弱监督时间动作定位的跨模态共识网络 ACM MM 2021

时序动作定位 | WTAL任务中用到Memory Bank的论文Action Unit Memory Network for Weakly Supervised Temporal Action Localization;Exploring Denoised Cross-video Contrast for Weakly-supervised Temporal Action Localization;Exploring Denoised Cross-video Contrast for Weakly-s

Action Unit Memory Network for Weakly Supervised Temporal Action Localization

Temporal Action Localization in Untrimmed Videos via Multi-stage CNNs

关于ACGNet: Action Complement Graph Network for Weakly-supervised Temporal Action Localization论文学习

ASM-Loc: Action-aware Segment Modeling for Weakly-Supervised Temporal Action Localization（CVPR 2022）一个新的WTAL框架，可以实现显式的、动作感知的分段建模，而不是标准的基于MIL的方法

关于Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Act论文学习，本文认为，通过上下文比较序列之间的差异来学习，在WSAL中提供了一种基本的归纳偏差，并有助于识别连贯的行动实例。具体而言，在可微动态规划公式下，设计了两个互补的对比目标，包括细粒度序列距离(FSD)对比和最长公共子序列(LCS)对比，其中第一个目标通过匹配、插入和删除动作来考虑各种动作/背景建议之间的关系，第二个...............

关于论文学习提出了一个具有代表性的代码片段汇总和传播框架。作者的方法试图挖掘每个视频中的代表性片段，以便在视频片段之间传播信息，以生成更好的伪标签。对于每个视频，以视频内和视频间的方式传播其自身的代表片段和来自存储库的代表片段以更新输入特征。伪标签是由更新特性的时间类激活映射生成的，以纠正主分支的预测。.........

关于Exploring Denoised Cross-video Contrast for Weakly-supervised Temporal Action Localization论文学习提出了一种新的去噪跨视频对比算法，旨在增强视频片段的特征识别能力，以便在弱监督环境下准确定位时序动作。......

关于Weakly Supervised Temporal Action Localization through Contrast based Evaluation Net论文学习作者提出了基于对比的定位评估网络(CleanNet)和新的动作建议评估器，该评估器通过利用片段级动作分类预测中的时间对比提供伪监督。从本质上讲，新的动作建议评价者强制执行额外的时间对比约束，以便评价得分高的动作建议更有可能与真正的动作实例相吻合。此外，新的动作定位模块是CleanNet的重要组成部分，可实现端到端培训.......

关于Learning Action Completeness from Points for Weakly-supervised Temporal Action Localiza论文学习单帧时间动作定位(STAL)旨在对每个动作实例只使用一个时间戳注释的未裁剪视频中的动作进行定位。现有方法采用单阶段框架，将计数目标与定位目标相结合。本文提出了一种新的分而治之的两阶段任务框架。实例计数阶段利用位置监督来确定动作实例的数量，并将整个视频分成多个视频剪辑，使每个视频剪辑只包含一个完整的动作实例;位置估......

关于Learning Action Completeness from Points for Weakly-supervised Temporal Action Localization论文学习首先，选择伪背景点来补充点级动作标签。然后，以这些点为种子，在与种子一致的情况下，寻找可能包含完整动作实例的最优序列。为了从得到的序列中学习完整性，作者引入了两个新的损失，分别以动作评分和特征相似性来对比动作实例和背景实例。..................

关于D2-Net: Weakly-Supervised Action Localization via Discriminative Embeddings and Denoised Activat论文学习，时序动作定位｜D2-Net:基于鉴别嵌入和去噪激活的弱监督动作定位。引入了一种新的损失公式，该公式联合增强了潜在嵌入的可分辨性和输出时序类激活对弱监督引起的前景背景噪声的鲁棒性。提出的公式包括一个判别和去噪损失项，以增强时序作用定位。该判别词引入了分类损失，并利用自顶向下的注意机制来增强潜在前......

Weakly Supervised Action Localization by Sparse Temporal Pooling NetworkWeakly-Supervised Action Localization by Generative Attention ModelingA Hybrid Attention Mechanism for Weakly-Supervised Temporal Action Locali

关于Weakly-supervised Action Localization with Background Modeling论文学习

D2-Net: Weakly-Supervised Action Localization via Discriminative Embeddings and Denoised ActivationsThe Blessings of Unlabeled Background in Untrimmed VideosLearning Action Completeness from Points for Weakly-supervised Temporal Action Localization FAC-Net

关于Background Suppression Network for Weakly-Supervised Temporal Action Localization论文学习作者引入了一个表示背景的辅助类，这是一个缺失的元素来建模弱监督时间动作定位问题。作者提出了一种不对称的双分支权重共享架构，通过过滤模块和对比目标来抑制来自背景帧的激活。作者的BaSNet在最流行的基准测试，THUMOS的14和ActivityNet的实验中优于目前最先进的WTAL方法。............

ActivityNet (下载地址：https://github.com/UCASUSTC/ActivityNet_Dataset_Download) 目前最大的数据库，同样包含分类和检测两个任务。数据集地址为Activity Net ，这个数据集仅提供视频的youtube链接，而不能直接下载视频，所以还需要用python中的youtube下载工具来自动下载。该数据集包含200个动作类别，20000（训练+验证+测试集）左右的视频，视频时长共计约700小时。THUMOS’14 (下载...

关于CoLA: Weakly-Supervised Temporal Action Localization with Snippet Contrastive Learning论文学习，利用片段对比学习的弱监督时序动作定位

I3D(Inflated 3D ConvNet) 与 UNT(UntrimmedNets) 特征模型

弱监督 时序动作定位 多篇论文概述 包含原文和代码 按年份2018-20211. Weakly Supervised Action Localization by Sparse Temporal Pooling Network2. W-TALC: Weakly-supervised Temporal Activity Localization and Classification3. Weakly-supervised Action Localization with Background .....