使用R boxplot.stats函数进行异常检测

原创于 2021-12-10 14:25:20 发布 · 3.6k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#r语言 #数据挖掘 #异常值检测

R语言专栏收录该内容

69 篇文章

订阅专栏

本文介绍了使用R语言中的boxplot.stats函数进行异常值检测的方法，通过计算四分位距（IQR）确定上须值和下须值，从而识别数据中的异常点。在示例中，我们展示了如何过滤并可视化这些异常值，利用ggplot2库创建了原始数据点图和箱线图，有效地突出了异常值的位置。

部署运行你感兴趣的模型镜像

异常值一般指数据远离大多数观察值。有很多种方式进行异常值检测，如基于变量空间距离度量，把距离太远的观察值标记为异常值。还有基于数据分布的检测方法，本文利用boxplot.stats函数来解释基于分布的异常检测方法，并利用ggplot图视表示。

boxplot.stats函数原理

该检测方法先假定数据的预期分布，把背离这种分布的数值标记为异常值。

首先计算数据集的四分位数据Q1、Q3，利用公示计算四分位距：IQR=Q3-Q1 ；
然后就能计算两边的异常值(或离群值)：

上须值：Q3+1.5*IQR
下须值：Q1-1.5*IQR

识别异常值就是计算大于上须值或小于下须值的数据。

library(ggplot2)
library(tibble)

set.seed(222)

m <- as_tibble(rnorm(100)) %>% mutate(id=row_number(), .before="value")
head(m, 10)
#     id    value
# <int>    <dbl>
#     1  1.49   
#     2 -0.00189
#     3  1.38   
#     4 -0.380  
#     5  0.184  
#     6 -0.247  
#     7 -1.22   
#     8  1.56   
#     9  0.427  
#    10 -1.20 

st <- boxplot.stats(m$value)
out_points <- filter(m, m$value %in% st$out)
out_points

#      id value
#   <int> <dbl>
# 1    70 -2.77
# 2    74 -2.53

# 首先画原始数据，然后再用红色画出离群值
ggplot(m, aes(x=id, y=value)) + geom_point() +
  geom_point(data = out_points, aes(x=id, y=value, color ="red"))

ggplot(m, aes(y=value)) + geom_boxplot() +
  ggtitle("箱线图展示")