Large Language Model Guided Knowledge Distillation for Time Series Anomaly Detection

本文是LLM系列文章，针对《Large Language Model Guided Knowledge Distillation for Time Series
Anomaly Detection》的翻译。

摘要

由于缺乏可用的注释，自监督方法在时间序列异常检测中获得了突出地位。然而，它们通常需要大量的训练数据来获取可推广的表示图，这与少数可用样本的场景相冲突，从而限制了它们的性能。为了克服这一限制，我们提出了AnomalyLLM，这是一种基于知识蒸馏的时间序列异常检测方法，其中训练学生网络以模仿在大规模数据集上预训练的基于大型语言模型（LLM）的教师网络的特征。在测试阶段，当教师和学生网络的特征之间的差异很大时，就会检测到异常。为了避免学生网络学习教师网络的异常样本特征，我们设计了两个关键策略。1） 原型信号被合并到学生网络中，以巩固正常的特征提取。2） 我们使用合成异常来扩大两个网络之间的表示差距。AnomalyLLM在15个数据集上展示了最先进的性能，在UCR数据集中至少提高了14.5%的准确性。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在本文中，我们提出了第一种基于知识蒸馏的TSAD方法，称为AnomalyLLM。异常分数是由学生和教师网络之间的表现差异决定的。当只有有限的样本可用时，从预训练的LLM对教师网络进行微调，以生成时间序列信号的可推广表示。学生网络结合了原型信号，以产生更多特定领域的表示。此外，我们提出了一种基于数据增强的训练策略来增强异常样本上的表示差距。AnomalyLLM在9个单变量数据集和6个多变量数据集上超过了SOTA方法，突出了知识蒸馏和LLM在时间序列异常检测中的显著潜