L1783516140的博客

当前的弱监督视频异常检测（WSVAD）任务旨在仅通过粗略的视视频级别标注实现帧级别的异常事件检测。现有的方法通常从全分辨率视频帧中提取全局特征，并训练帧级分类器在时间维度上检测异常。然而，大多数异常事件往往发生在局部的空间区域，而非整个视频帧，这意味着基于帧级特征的方法可能会受到主要背景信息的误导，并缺乏对检测到的异常的解释性。为了解决这一问题，本文提出了一种新的方法STPrompt，用于基于预训练的视觉-语言模型（VLM）学习时空提示嵌入，以实现弱监督的视频异常检测与定位（WSVADL）。

当前具有弱监督的视频异常检测(VAD)方法固有地局限于封闭集设置，并且在开放世界应用中可能会遇到困难，因为在训练期间测试数据中可能存在不可见的异常类别。最近的一些研究试图解决一个更现实的设置，开放式VAD，其目的是在看到异常和正常视频的情况下检测未见的异常。然而，这种设置侧重于预测帧异常分数，没有识别特定异常类别的能力，尽管这种能力对于构建更智能的视频监控系统至关重要。本文进一步探讨了开放词汇表视频异常检测(OVVAD)，其中我们的目标是利用预训练的大型模型来检测并分类可见和未见的异常。

在没有人工标注的情况下，典型的无监督视频异常检测(UVAD)方法需要训练两个相互生成伪标签的模型。在之前的工作中，这两个模型相互紧密纠缠，不知道如何在不显著修改训练框架的情况下升级它们的方法。其次，以往的工作通常采用固定阈值来获得伪标签，但用户指定的阈值不可靠，不可避免地会在训练过程中引入误差。为了缓解这两个问题，我们提出了一种新的交错框架，交替训练UVAD的一类分类(OCC)模型和弱监督(WS)模型。