【视频异常检测-论文阅读】Learning Not to Reconstruct Anomalies

最新推荐文章于 2025-05-21 22:21:28 发布
原创 最新推荐文章于 2025-05-21 22:21:28 发布 · 925 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #深度学习 #计算机视觉 #神经网络

本文介绍了Learning Not to Reconstruct (BMVC 2021) 中的方法，针对视频异常检测中的自动编码器(Autoencoder, AE)重建异常问题。研究者提出利用伪异常训练策略，通过patch和skip frame生成机制限制AE对异常数据的重建能力，提升正常数据的区分度。文章详细阐述了模型结构、损失函数和实验对比，旨在改进OCC（One-Class Classification）下的异常检测性能。

Astrid, M., M. Zaheer, Jae-Yeong Lee and Seung-Ik Lee. “Learning Not to Reconstruct Anomalies.” BMVC (2021).

Code：GitHub - aseuteurideu/LearningNotToReconstructAnomalies: Official implementation of "Learning Not to Reconstruct" (BMVC 2021)

Paper URL：[PDF] Learning Not to Reconstruct Anomalies | Semantic Scholar 

 与下面这一篇 是同一个团队，并且实现方法非常类似【视频异常检测-论文阅读】Synthetic Temporal Anomaly Guided End-to-End Video Anomaly Detection_不喝可乐不快乐的博客-优快云博客

 

这篇文章主要针对 解决视频异常检测问题 中以 one-class classification (OCC) 的方式（经常使用的是自动把编码器（Atuoencoder））存在这样一个问题： 即使只有正常的数据训练，AEs通常也可以较好的重建异常，这会降低异常检测性能。

ps: (论文中的一个解释)

这很可能是一个结果，因为只要边界在训练集中包含正常数据，AE仅根据正常数据进行训练的AE的重建边界就不会受到约束</

最低0.47元/天 解锁文章
【视频异常检测-论文阅读】Synthetic Temporal Anomaly Guided End-to-End Video Anomaly Detection
小菜鸡的学习记录
08-29 1642
我们提出了一种仅使用正常数据生成伪异常的时间伪异常合成器。然后训练AE以最大化伪异常的重建损失，同时最小化正常数据的重建损失。通过这种方式，对AE进行编码，为正常和异常帧生成可区分的重建。...
[视频异常检测-论文阅读] Attention-based residual autoencoder for video anomaly detection
小菜鸡的学习记录
08-13 2466
我们提出了一种用于视频异常检测的基于残差注意力的自动编码器，它以统一的方式编码空间和时间信息
【视频异常检测】论文阅读
小菜鸡的学习记录
09-18 2111
几篇关于视频异常检测的论文笔记
视频异常检测，论文阅读(一)
weixin_44859553的博客
09-11 1023
一种整合了金字塔形变模型和信息压缩模型的多样性可测量异常检测框架
【视频异常检测】Open-Vocabulary Video Anomaly Detection 论文阅读
weixin_44609958的博客
04-23 2493
当前的视频异常检测（VAD）方法在弱监督下通常局限于封闭集设置，并且可能在测试数据中存在未见过的异常类别的开放世界应用中遇到困难。最近的一些研究尝试解决一个更现实的问题，即开放集异常检测（open-set VAD），其旨在检测给定已见异常和正常视频的未见异常。然而，这样的设置侧重于预测帧异常分数，无法识别异常的具体类别，尽管这种能力对于构建更加明智的视频监控系统至关重要。本文进一步探讨了开放词汇视频异常检测（OVVAD），我们旨在利用预训练的大型模型来检测和分类已见和未见的异常。
异常检测阅读笔记《Inpainting Transformer for Anomaly Detection》CVPR 2021
qq_45496282的博客
09-06 4729
异常检测阅读笔记《Inpainting Transformer for Anomaly Detection》 CVPR 2021 来源：2021年的CVPR，原文论链接： 论文的方向是图像方面的异常检测，本质上还是重构之后与原图像对比来得出异常的归类于基于重构的（ reconstruct）研究方法。 首先整体概括： 作者基于之前的研究《Reconstruction by inpainting for visual anomaly detection 》，首先将主要重构的方法选定为 inpainting，这是
用于异常检测的多分辨率知识蒸馏
weixin_48866452的博客
05-08 2584
Unsupervised representation learning has proved to be a critical component of anomaly detection/localization in images. The challenges to learn such a representation are two-fold. Firstly, the sample size is not often large enough to learn a rich generaliz
对比学习系列论文CPC（二）—Representation Learning with Contrastive Predictive Coding
qq_43210957的博客
12-04 2455
这篇是我针对对比学习鼻祖论文CPC的阅读记录，这其中包括原文翻译和逐段总结。
缺陷检测相关论文继续更新
庆志的小徒弟
10-21 8262
转自自己的github ：https://github.com/Eatzhy/surface-defect-detection 论文可以从github上下载，记得加星收藏，谢谢哦！ surface-defect-detection 分享一些表面缺陷检测的文章，主要检测对象是：金属表面、LCD屏、建筑、输电线等缺陷或异常检物。方法以分类方法、检测方法、重构方法、生成方法为主。电子版论文放在了...
【视频异常检测】Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised... 论文阅读
weixin_44609958的博客
04-17 1863
弱监督视频异常检测旨在仅利用视频级别标签来识别视频中的异常事件。最近，两阶段自训练方法通过自动生成伪标签并利用这些标签自我调整异常分数取得了显著的改进。由于伪标签起着关键作用，我们提出了一种增强框架，通过利用完整性和不确定性属性来实现有效的自训练。具体而言，我们首先设计了一个多头分类模块（每个头作为一个分类器），并采用多样性损失来最大化不同头部预测的伪标签分布差异。这鼓励生成的伪标签尽可能涵盖多个异常事件。然后，我们设计了一个迭代的不确定性伪标签优化策略。
《深度学习视频异常检测》2020综述论文
10-03
视频中的异常检测是一个研究了十多年的问题。这一领域因其广泛的适用性而引起了研究者的兴趣。正因为如此，多年来出现了一系列广泛的方法，这些方法从基于统计的方法到基于机器学习的方法。
【视频异常检测】Towards Interpretable Video Anomaly Detection 论文阅读
weixin_44609958的博客
02-27 1847
我们提出了一种新颖的框架，可以解释监控视频中检测到的异常事件。大多数视频异常检测方法基于数据密集型的端到端训练的神经网络，这些网络从视频中提取时空特征。在这种方法中提取的特征表示不具有解释性，这阻碍了对异常原因的自动识别。为此，我们提出了一种新颖的框架，可以解释监控视频中检测到的异常事件。除了独立监测对象外，我们还监测它们之间的相互作用，以检测异常事件并解释其根本原因。具体来说，我们证明了通过监测对象相互作用获得的场景图提供了异常事件背景的解释，并且在性能上与最近的最新技术方法竞争力相当。
【视频异常检测】Attribute-based Representations for Accurate and Interpretable Video Anomaly Detection 论文阅读
weixin_44609958的博客
01-25 2141
视频异常检测（VAD）是一项具有挑战性的计算机视觉任务，具有许多实际应用。由于异常本质上具有模糊性，因此用户必须了解系统决策的推理过程，以确定其合理性。在本文中，我们提出了一种简单但高效的方法，通过采用基于属性的表示来推动VAD准确性和可解释性的边界。我们的方法使用速度和姿态来表示每个对象。异常分数则是通过基于密度的方法计算得出的。令人惊讶的是，我们发现这种简单的表示方法足以在最大且最复杂的VAD数据集ShanghaiTech中实现最先进的性能。
【视频异常检测】EXPLORING DIFFUSION MODELS FOR UNSUPERVISED VIDEO ANOMALY DETECTION 论文阅读
weixin_44609958的博客
12-28 2278
这篇论文调查了扩散模型在视频异常检测（VAD）中的性能，特别关注最具挑战性但也是最实际的场景，即在没有使用数据注释的情况下进行检测。由于数据往往是稀疏、多样化、具有上下文并且常常含糊不清，精确检测异常事件是一项非常雄心勃勃的任务。为此，我们仅依赖于信息丰富的时空数据和扩散模型的重建能力，通过高重建误差来判断异常性。在两个大规模视频异常检测数据集上进行的实验证明了所提方法相对于最先进的生成模型的一致改进，而在某些情况下，我们的方法得分甚至优于更复杂的模型。
【论文笔记】【视频异常检测】【CVPR2024】Open-Vocabulary Video Anomaly Detection
最新发布
m0_72372080的博客
05-21 1100
为了让模型也具备“常识”去判断异常，论文首先用大语言模型（LLM）生成一系列与正常场景和异常场景相关的词汇（并非随便生成，而是基于提示词获取常见场景如“街道”、“公园”、异常场景如“爆炸”、“火光”），再用 CLIP 的文本编码器把它们转成与视觉特征同维度的向量。这部分很好懂，就是人为设计Prompt之后给到大模型，让大模型生成异常场景描述，然后基于这个描述让AIGC生成一堆视频帧，然后把这堆视频帧按照时间顺序拼接成视频片段之后，随机插入到原视频中，这样就获得了“未知异常”。这个模块是用来提取时序信息的。
【视频异常检测】Unbiased Multiple Instance Learning for Weakly Supervised Video Anomaly Detection 论文阅读
weixin_44609958的博客
04-01 1641
弱监督视频异常检测（WSVAD）是具有挑战性的，因为异常的二进制标签仅在视频级别上给出，但输出需要针对片段级别的预测。因此，在WSVAD中，多实例学习（MIL）被广泛采用。然而，众所周知，MIL往往会产生许多错误警报，因为片段级别的检测器很容易受到简单上下文中异常片段的影响，会被具有相同偏见的正常片段所混淆，并且会错过具有不同模式的异常。（UMIL），旨在学习改善WSVAD的无偏异常特征。
【视频异常检测】用于无监督视频异常检测的合成伪异常：一种简单有效的基于掩码自动编码器的框架 论文阅读
weixin_44609958的博客
12-20 2138
由于用于训练的异常样本的可用性有限，视频异常检测通常被视为一类分类问题。许多流行的方法研究自动编码器（AE）在假设AE重建正常数据良好而重建异常较差的情况下产生的重建差异。然而，即使只有正常的数据训练，AE通常也能很好地重建异常，这会耗尽其异常检测性能。为了缓解这个问题，我们提出了一个简单而有效的视频异常检测框架。引入了伪异常样本，该样本通过嵌入随机掩码而仅从正常数据合成，而无需额外的数据处理。我们还提出了一种正态一致性训练策略，鼓励AE更好地从正态和相应的伪异常数据中学习规则知识。
【视频异常检测】Delving into CLIP latent space for Video Anomaly Recognition 论文阅读
weixin_44609958的博客
03-18 2453
我们介绍了一种新的方法AnomalyCLIP，它首次将大型语言和视觉（LLV）模型（如CLIP）与多实例学习相结合，用于联合视频异常检测和分类。我们的方法特别涉及操纵潜在的CLIP特征空间来识别正常事件子空间，这反过来又使我们能够有效地学习异常事件的文本驱动方向。当异常帧被投影到这些方向上时，如果它们属于特定的类别，它们就会表现出大的特征量。我们还引入了一种计算高效的Transformer架构来对帧之间的短期和长期时间相关性进行建模，最终产生最终的异常分数和类预测概率。
异常检测论文阅读《Anomaly Detection in Video Sequences: A Benchmark and Computational Model》
qq_45496282的博客
12-13 3426
CVPR2021异常检测的的论文，里面提出了新的异常检测数据集
自编码器异常检测pytorch
01-24
### 自编码器异常检测 PyTorch 实现 #### 构建自编码器模型 为了实现信用卡数据集上的异常检测，可以构建一个基础的全连接神经网络作为自编码器结构[^1]。 ```python import torch from torch import nn, optim from torch.utils.data import DataLoader, TensorDataset class Autoencoder(nn.Module): def __init__(input_dim: int, hidden_dims: list[int]): super(Autoencoder, self).__init__() encoder_layers = [] decoder_layers = [] current_dim = input_dim for hdim in hidden_dims: encoder_layers.append( nn.Sequential( nn.Linear(current_dim, hdim), nn.ReLU() ) ) current_dim = hdim for hdim in reversed(hidden_dims[:-1]): decoder_layers.append( nn.Sequential( nn.Linear(current_dim, hdim), nn.ReLU() ) ) # Add final layer to reconstruct the original dimensions. decoder_layers.append( nn.Linear(current_dim, input_dim) ) model.encoder = nn.Sequential(*encoder_layers) model.decoder = nn.Sequential(*decoder_layers) def forward(self, x): encoded = model.encoder(x) decoded = model.decoder(encoded) return decoded ``` #### 训练过程设置 训练过程中主要关注正常样本的学习，通过重构损失来衡量输入与输出之间的差异。对于异常情况，则期望该误差较大从而能够区分出异常实例。 ```python def train_autoencoder(model, dataloader, epochs=50): criterion = nn.MSELoss() # 使用均方差作为损失函数 optimizer = optim.Adam(model.parameters(), lr=1e-3) for epoch in range(epochs): total_loss = 0 for batch_features in dataloader: # reshape mini-batch data to [N, 784] matrix # load it to the active device batch_features = batch_features.to(device) # reset the gradients back to zero # PyTorch accumulates gradients on subsequent backward passes optimizer.zero_grad() # compute reconstructions outputs = model(batch_features) # compute training reconstruction loss train_loss = criterion(outputs, batch_features) # compute accumulated gradients train_loss.backward() # perform parameter update based on current gradients optimizer.step() # add the mini-batch training loss to epoch loss total_loss += train_loss.item() average_loss = total_loss / len(dataloader.dataset) print(f'Epoch [{epoch + 1}/{epochs}], Loss:{average_loss:.4f}') ``` #### 测试阶段评估 测试时计算每条记录经过自编码器后的重建误差，并设定阈值判断是否属于异常类别。通常会对比已知正常的样本分布来进行决策[^2]。 ```python def evaluate_anomalies(model, dataset, threshold=None): with torch.no_grad(): predictions, losses = [], [] for features in dataset: output = model(features.unsqueeze_(0)) prediction = output.squeeze().cpu().numpy() loss = ((features.cpu().numpy() - prediction)**2).mean(axis=-1)[0] predictions.append(prediction) losses.append(loss) if not threshold: sorted_losses = np.sort(losses) cutoff_index = int(len(sorted_losses)*0.95) # top 5% as anomalies threshold = sorted_losses[cutoff_index] predicted_labels = ['normal' if l <= threshold else 'anomaly' for l in losses] return {'predictions': predictions, 'losses': losses, 'threshold': threshold, 'labels': predicted_labels} ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值