目录
引言
异常检测在工业缺陷检测、医学诊断和视频监控等领域具有重要应用。然而,异常样本的收集面临稀缺性和多样性挑战,传统监督方法难以应对异常数据的非平稳分布。无监督异常检测(UAD)方法仅使用正常数据训练模型
从有限正常样本中提取的特征作为记忆信息,通过比较输入图像与记忆信息之间的差异,绕过了低效的图像重建过程。这种方法不仅节省了计算资源,还通过直接对比输入图像与存储的正常模式,提高了异常检测的准确性。
一、 背景与核心挑战
异常检测(Anomaly Detection),又称离群点检测,是机器学习与计算机视觉中的一项核心任务,其目标是识别与绝大多数“正常”数据显著不同的模式或实例。这些“异常”通常意味着某种问题、缺陷或有趣的事件。
1. 关键应用领域:
-
工业缺陷检测: 在产品生产线(如芯片、纺织品、汽车零部件)上,自动检测产品表面的划痕、凹陷、污点等微小缺陷。
-
医学影像诊断: 在MRI、CT、X光扫描中,辅助医生识别肿瘤、出血、组织病变等异常区域。
-
视频监控与安防: 在监控视频流中,自动检测异常行为,如入侵、打架、跌倒、交通违规等。
-
金融风控: 检测信用卡欺诈、洗钱等异常交易行为。
2. 传统监督学习的困境:
传统的深度学习模型在图像分类、目标检测等领域取得了巨大成功,但其成功严重依赖于大规模、高质量、标注均衡的训练数据。然而,在异常检测场景下,这一前提被彻底颠覆,面临两大根本性挑战:
-
异常数据的稀缺性 (Scarcity): 异常事件本质上是罕见和偶发的。在工业生产中,良品率通常高达99%以上,收集大量缺陷样本成本极高甚至不可能。在医疗中,阳性病例远少于阴性病例。
-
异常数据的多样性 (Diversity) 与非平稳分布 (Non-stationary Distribution): “异常”是一个开放集(Open-Set),其形态不可预知。一个工业品可能存在无数种缺陷类型(划痕、裂纹、腐蚀…),且不断有新的缺陷出现。模型无法在训练阶段见到所有可能的异常模式,导致监督学习模型难以泛化,极易过拟合到已见过的少数异常类型上,而对新异常失效。
“我们无法用有限的异常样本,去定义一个无限的异常空间。” 这正是监督学习在异常检测任务中的阿喀琉斯之踵。
二、 无监督异常检测 (UAD) 的意义与范式转变
为了解决上述挑战,研究范式发生了根本性转变:无监督异常检测 (Unsupervised Anomaly Detection, UAD)。
1. 核心思想:
UAD方法仅使用大量“正常”样本进行训练。其基本假设是:正常数据处于一个低维流形或具有某种可建模的分布,而异常则会偏离这个分布。
2. 核心优势与重要意义:
-
解决数据稀缺问题: 完全摆脱了对异常样本的依赖,只需要容易获取的大量正常数据,极大降低了数据收集和标注成本。
-
应对未知异常: 由于模型学习的是“正常”的概念,任何偏离正常模式的数据都可以被判定为异常。这使得模型具备了检测前所未见的异常类型的能力,泛化性更强。

最低0.47元/天 解锁文章

2481

被折叠的 条评论
为什么被折叠?



