5、文本异常检测的顺序异常技术

文本异常检测的顺序异常技术

1. 引言

随着信息技术的发展和社交媒体的广泛应用，自然语言文本数据量急剧增加，这使得文本挖掘领域受到了广泛关注。然而，文本数据的高维度和缺乏正式结构给信息提取和挖掘带来了挑战。文本异常检测旨在发现隐藏在大量文本数据中的不寻常模式，它涉及统计学、机器学习、数据挖掘、信息论和自然语言处理等多个领域。

传统的基于统计的方法由于文本数据的高维度和对数据分布先验知识的要求，不太适合文本异常检测。基于距离的方法在数据集维度增加时，距离的意义会减弱。基于分类的方法需要明确区分异常类和正常类，在实际应用中，准确标注语料库具有挑战性。基于聚类的方法将不属于任何聚类的数据对象视为异常，但聚类过程可能较慢，且异常通常是聚类的副产品。

相比之下，基于偏差的检测方法可以线性处理高维数据，通过分析数据项的关键属性和使用相异度函数来发现异常。然而，该方法的相异度函数需要适用于所有类型的数据，这是一个具有挑战性的要求。

本文重点研究使用顺序异常技术（Sequential Exception Technique，SET）进行文本异常检测。该技术通过采用余弦相似度函数替代方差计算进行了改进，并在ENRON电子邮件语料库和20 Newsgroup（20NG）数据集上进行了测试，结果表明该方法具有进一步探索和改进的潜力。

2. 文本异常检测方法

2.1 基于分类的方法

基于分类的方法通过使用提供的示例或训练数据构建模型，将文本分配到已知的异常或正常类中。常见的方法包括神经网络（Neural Network，NN）和支持向量机（Support Vector Machine，SVM）。