使用R语言进行异常检测

转载最新推荐文章于 2025-12-07 10:34:23 发布 9.7k 阅读 AI写同款

收录于

mousever

码龄19年墨衍会员 · AI 创作全网分发

231粉丝6篇原创

关注

用本福特定律做财务异常检测：R语言实战指南本福特定律揭示了自然生成数据中首位数字的非均匀分布规律，其数学本质是对数尺度下的均匀性，广泛应用于金融、审计与风控领域的异常检测。该定律不依赖复杂模型，而是基于数据跨越多个数量级、受乘法或指数过程驱动的前提，通过统计观测频次与理论分布（如log₁₀(1+1/d)）的偏离度（如MAD、Z-score）识别人为操纵痕迹。在财务造假筛查中，它可快速定位可疑金额模式，如‘10’‘20’开头的集中堆叠，显著提升审计效率。结合R语言benford.analysis包，仅需数行代码即可完成清洗、检验与可视化，是Data 阅读详情

AI摘要

本文介绍了使用R语言进行异常检测的技术，包括单变量异常检测、使用LOF算法进行异常检测、通过聚类方法识别异常以及对时间序列数据的异常检测。此外，还探讨了LOF算法的特点及其局限性，并提供了多个实用案例。

本文结合R语言，展示了异常检测的案例，主要内容如下：

（1）单变量的异常检测

（2）使用LOF（local outlier factor，局部异常因子）进行异常检测

（3）通过聚类进行异常检测

（4）对时间序列进行异常检测

单变量异常检测

本部分展示了一个单变量异常检测的例子，并且演示了如何将这种方法应用在多元数据上。在该例中，单变量异常检测通过boxplot.stats()函数实现，并且返回产生箱线图的统计量。在返回的结果中，有一个部分是out，它结出了异常值的列表。更明确点，它列出了位于极值之外的胡须。参数coef可以控制胡须延伸到箱线图外的远近。在R中，运行?boxplot.stats可获取更详细的信息。

如图呈现了一个箱线图，其中有四个圈是异常值。

如上的单变量异常检测可以用来发现多元数据中的异常值，通过简单搭配的方式。在下例中，我们首先产生一个数据框df，它有两列x和y。之后，异常值分别从x和y检测出来。然后，我们获取两列都是异常值的数据作为异常数据。

在下图中，异常值用红色标记为"+"

类似的，我们也可以将x或y为异常值的数据标记为异常值。下图，异常值用'x'标记为蓝色。

当有三个以上的变量时，最终的异常值需要考虑单变量异常检测结果的多数表决。当选择最佳方式在真实应用中进行搭配时，需要涉及领域知识。

使用LOF（local outlier factor，局部异常因子）进行异常检测

LOF（局部异常因子）是用于识别基于密度的局部异常值的算法。使用LOF，一个点的局部密度会与它的邻居进行比较。如果前者明显低于后者（有一个大于1 的LOF值），该点位于一个稀疏区域，对于它的邻居而言，这就表明，该点是一个异常值。LOF的缺点就是它只对数值数据有效。

lofactor()函数使用LOF算法计算局部异常因子，并且它在DMwR和dprep包中是可用的。下面将介绍一个使用LOF进行异常检测的例子，k是用于计算局部异常因子的邻居数量。下图呈现了一个异常值得分的密度图。

接着，我们结合前两个主成份的双标图呈现异常值。

在如上代码中，prcomp()执行了一个主成分分析，并且biplot()使用前两个主成分画出了这些数据。在上图中，x和y轴分别代表第一和第二个主成份，箭头表示了变量，5个异常值用它们的行号标记出来了。

我们也可以如下使用pairsPlot显示异常值，这里的异常值用"+"标记为红色。

Rlof包，对LOF算法的并行实现。它的用法与lofactor()相似，但是lof()有两个附加的特性，即支持k的多元值和距离度量的几种选择。如下是lof()的一个例子。在计算异常值得分后，异常值可以通过选择前几个检测出来。注意，目前包Rlof的版本在MacOS X和Linux环境下工作，但并不在windows环境下工作，因为它要依赖multicore包用于并行计算。