35、基于特征重建的异常检测Transformer及网页核心信息提取研究

基于特征重建的异常检测Transformer及网页核心信息提取研究

在当今的数据处理和分析领域，异常检测和网页核心信息提取是两个至关重要的任务。异常检测在工业生产、安全监控等众多领域有着广泛的应用，而网页核心信息提取则为文本数据挖掘提供了关键的数据支持。本文将深入探讨基于特征重建的异常检测Transformer（ADTR）以及基于语义特征的网页核心信息提取框架（SCIEnt）。

基于特征重建的异常检测Transformer（ADTR）

性能评估

在CIFAR - 10数据集上的定量结果显示，ADTR在仅使用正常样本进行训练的情况下，大幅超越了KDAD（优势达7.5%）。当有异常样本可用时，借助外部不相关数据集，ADTR + 的性能进一步提升了1.4%，这充分体现了所设计的图像级损失函数Limg的有效性。
| 竞争方法 | 性能情况 |
| ---- | ---- |
| ADTR（正常样本训练） | 超越KDAD 7.5% |
| ADTR +（有异常样本） | 性能提升1.4% |

消融研究

为了深入了解ADTR的各个组件对性能的影响，进行了广泛的消融研究，采用像素级AUROC指标在MVTec - AD数据集的异常定位任务上展开。
- 注意力和辅助查询嵌入 ：以从ResNet修订而来的CNN作为重建模型的基线。实验表明，移除注意力层（w/o Attn）后，性能相比CNN无明显优势；没有辅助查询嵌入（w/o Query）时，性能甚至不如CNN；而同时配备注意力和辅助查询嵌入（Attn + Query）时，Transformer稳定地比CNN高出2