如何使用 Python 进行离群值/异常值检测：箱线图法

最新推荐文章于 2024-06-06 07:00:00 发布

code_welike

最新推荐文章于 2024-06-06 07:00:00 发布

阅读量1k

点赞数 1

CC 4.0 BY-SA版权

文章标签： python matplotlib 开发语言

本文链接：https://blog.youkuaiyun.com/code_welike/article/details/130874078

Python 专栏收录该内容

418 篇文章 ¥99.90 ¥299.90

订阅专栏

本文介绍了如何使用Python进行离群值/异常值检测，重点关注箱线图法。通过引入numpy、pandas和matplotlib库，生成包含异常值的随机数据，然后绘制箱线图并确定关键信息，如Q1、Q3和IQR，最终识别出异常值。示例代码展示了完整的离群值检测过程。

如何使用 Python 进行离群值/异常值检测：箱线图法

在机器学习中，数据预处理是非常重要的一步。其中，离群值/异常值的检测是很重要的一部分，因为这些值会对模型的准确性和健壮性造成不良影响。在本文中，我们将介绍如何使用 Python 中的箱线图法来检测离群值/异常值。

引入所需库

在开始之前，我们需要引入必要的库：numpy、pandas 和 matplotlib。其中，numpy 和 pandas 是科学计算的基础库，而 matplotlib 则是可视化数据的利器。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

生成随机数据

我们首先需要生成一些随机数据，并将其中一部分数据设置为离群值/异常值。

np

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

code_welike

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

离群值/异常值的处理方法：箱线图法 Python

BUG？不存在的！

09-06

1532

离群值（Outliers）或异常值（Anomalies）是指与大部分数据明显不同的数值，它们可能是由于错误测量、数据录入错误、异常事件等原因导致的。使用箱线图法对离群值进行处理的优点是简单直观，同时能够提供离群值的具体边界和数值信息。然而，箱线图法对于多变量数据或数据分布不规则的情况可能不太适用，此时可能需要结合其他方法进行离群值处理。然后，我们通过计算数据的四分位数和四分位距来确定离群值的边界。在本例中，离群值的数量为1，数值为10。其中，我们人为地将第200个数据点的值设置为10，以模拟一个离群值。

【阶段二】Python数据分析Pandas工具使用06篇：探索性数据分析：异常数据的检测与处理

张陈亚的博客

01-04

714

Python数据分析Pandas工具使用06篇：探索性数据分析：异常数据的检测与处理

参与评论您还未登录，请先登录后发表或查看评论

python离群点检测_数据分析第五篇：离群点检测

weixin_39731782的博客

11-20

3129

离群点（outlier）是指和其他观测点偏离非常大的数据点，离群点是异常的数据点，但是不一定是错误的数据点。确定离群点对于数据分析会带来不利的影响，比如，增大错误方差、影响预测和影响正态性。从散点图上可以直观地看到离群点，离群点是孤立的一个数据点；从分布上来看，离群点远离数据集中其他数据点。在数据处理过程中，检测离断点的方法，通常有Z-score 和 IQR。一，Z-score方法Z-score以...

python 在线数据 离群值检验多种方法对比 Z-Score 孤立森林

最新发布

细节处有神明的博客

06-06

2006

离群数据统计检验是数据分析中的一个重要环节，用于识别和处理那些与主体数据集显著不同的数据点。在水质在线数据分析过程中往往会遇到各种异常值，需要我们进行识别。本文尝试通过对比不同的离群值检验方法，探究适合本地水质在线数据的检验方法。常用的离群数据统计检验方法有四分位法、Z-Score 方法、孤立森林法、3σ原则等 4 种方法。经过对比分析，Z-Score 与 3σ原则方法是最适合水质在线数据离群值检验的方法。具有离群值检验准确，原理清晰易懂，实现简单，配置参数少等优点。

Python 异常值处理 箱线图、3σ原则（机器学习）

优快云精品推荐

02-11

7690

文章目录查看数据异常值1、箱线图下四分位数Q1：中位数Q2：上四分位数Q3：四分位距IQR：下限：上限2、3σ原则3、代码测试3.1 导库3.2 创建数据3.3 箱线图3.4 3σ原则查看数据异常值 1、箱线图 下四分位数Q1：数据的1/4位置，Qi所在位置=i（n+1）/4，其中i=1，2，3。n表示序列中包含的项数。例如100个数据，Q1所在位置=（100+1）/ 4 Q1=0.25×Q1位置+0.75×（Q1位置+1）中位数Q2： Q2所在位置=2 *（100+1）/ 4 位于数据的中间位

python 数据分析数据处理离群点检测

q742971636的博客

05-19

2895

装载自：https://www.debugger.wiki/article/html/1577444402436939 import numpy as np import pandas as pd def detect_outliers(data, threshold=3): """离群点检测""" mean_d = np.mean(data) std_d = np.std(data) outliers = [] for y in data:

孤立森林算法 python_异常值（离群值）检验的方法—孤立森林（Isolation Forest）...

weixin_39724362的博客

12-21

1462

最近一段时间忙着写Paper，没有时间整理一下数据分析中的一个重要问题：异常值或者是离群值的检验问题(Outlier detection)，如下图所示。实时上，关于异常值处理的问题，对于经济学中的实证分析并不是什么大问题，但是在统计学习中，它也是一种识别问题、分类问题或预测问题。对于人类社会来说，离群点可能是人类的精英分子呢。因此，检验离群点演化出了很多方法，主要集中在概率统计模型(3 Sigma...

【统计学异常值分析】：离群值与极端值的区别与处理

异常值，或称为离群值、极端值，是统计学中用于描述那些与数据集中的其他观测值显著不同的数据点。在数据集中，异常值可能代表了实际存在的变异，或者仅仅是测量和录入过程中的错误。由于异常值的存在会对数据的整体...

离群点检测算法python代码

weixin_42594427的博客

02-12

1137

很高兴为您回答问题！在python中，可以使用以下几种方法实现离群点检测算法： Z-score方法：该方法通过计算数据的Z-score来识别离群点。您可以使用scipy库中的zscore函数来计算Z-score。 IQR方法：该方法通过计算数据的四分位数范围来识别离群点。您可以使用numpy库中的percentile函数来计算四分位数。 异常值检测：您可以使用sklearn库中的OneCla...

python绘制箱型图+打印异常值

定期分享我的发现和想法，感谢你的陪伴和支持

03-24

6946

读取csv文件，绘制箱型图（竖着的），并打印出所有异常值。更新conda及所有库。

python:删除离群值操作(每一行为一类数据)

09-16

主要介绍了python:删除离群值操作(每一行为一类数据)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

python封装的异常值处理函数（包括箱线图去除异常值等）

12-21

# 这里我包装了一个异常值处理的代码，可以随便调用。 def outliers_proc(data, col_name, scale=3): """ 用于清洗异常值，默认用 box_plot（scale=3）进行清洗 :param data: 接收 pandas 数据格式 :param col_name: pandas 列名 :param scale: 尺度 :return: """ def box_plot_outliers(data_ser, box_scale): """ 利用箱线图去除异常值

tsmoothie：用于以向量化方式进行时间序列平滑和离群值检测的python库

01-31

tsmoothie 一个用于以向量化方式进行时间序列平滑和离群值检测的python库。总览 tsmoothie以快速有效的方式计算单个或多个时间序列的平滑度。可用的平滑技术是：指数平滑具有各种窗口类型（常量，汉宁，汉明，巴特利特，布莱克曼）的卷积平滑使用傅立叶变换进行频谱平滑多项式平滑各种样条平滑（线性，三次，自然三次）高斯平滑 Binner平滑低价各种季节性分解平滑（卷积，最低，自然三次样条）带有可自定义组件（水平，趋势，季节性，长期季节性）的卡尔曼平滑 tsmoothie提供了平滑处理结果的间隔计算。这对于识别时间序列中的异常值和异常可能很有用。关于使用的平滑方法，可用的间隔类型为： sigma间隔置信区间预测间隔卡尔曼区间 tsmoothie可以执行滑动平滑方法来模拟在线使用。可以将时间序列分成相等大小的片段，并分别进行平滑处理。与往常一样，此功能通过WindowWrapper类以矢量化方式实现。 tsmoothie可以通过BootstrappingWrapper类操作时序引导程序。支持的引导程序算法为：没有重叠的块引导

Python数据科学 | Python 离群点检测算法 -- GMM

csdn_xmj的博客

05-10

1648

星星在天空中聚集或分散，呈现出自然的分布。在统计学中，K-均值法是一种著名的聚类技术，可以识别出不同的聚类。而高斯混合模型（GMM）则提供了另一种视角，假设星星可能遵循多个不同的高斯分布。与 K-均值法相比，GMM 更具灵活性，因为 K-均值法只是 GMM 的一种特例。

python、matplotlib画箱体图检验异常值

云金杞

02-09

2690

import pandas as pd import os import matplotlib.pyplot as plt data=pd.read_excel('C:/Users/Administrator/Desktop/demo/data/catering_sale.xls',index_col='日期') plt.rcParams['font.sans-serif']=['SimHei']...

使用Python检测并删除离群值

python收藏家的博客

01-23

3227

离群值是一个数据项/对象，它明显偏离其余的（所谓的正常）对象。它们可能由测量或执行错误引起。离群点检测的分析被称为离群点挖掘。检测离群值的方法有很多，删除过程与从pandas的数据框中删除数据项相同。

异常数据处理——箱型图分析原理及Python例程

物是人非事事休欲语泪湿春衫袖

07-17

5056

箱型图分析原理及Python例程一、箱型图分析原理箱型图可以通过程序设置一个识别异常值的标准，即大于或小于箱型图设定的上下界的数值则识别为异常值，箱型图如下图所示：首先我们定义下上四分位和下四分位：上四分位我们设为 U，表示的是所有样本中只有1/4的数值大于U ，即从大到小排序时U处于25%处；同理，下四分位我们设为 L，表示的是所有样本中只有1/4的数值小于L，即从大到小...

【Dify】批量翻译自动化应用