np.percentile()函数超详解 异常值极端值百分位四分位数

最新推荐文章于 2024-09-25 09:45:00 发布
转载 最新推荐文章于 2024-09-25 09:45:00 发布 · 1.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/weixin_40845358/article/details/84638449
文章标签：

#python

本文详细解析了四分位数的计算方法，包括在数列中确定上四分位数的具体步骤，以及如何使用numpy库进行准确计算，避免常见错误。通过实例说明，帮助读者理解四分位数在数据分析中的应用。

20211115

当有空值存在时，四分位数会是空值

20211019

https://www.zhihu.com/question/58421946
https://baike.baidu.com/item/%E5%9B%9B%E5%88%86%E4%BD%8D%E6%95%B0/5040599?fr=aladdin
上四分位数是大的那端

https://jingyan.baidu.com/article/20095761f8299dcb0621b455.html
计算步骤

https://zhuanlan.zhihu.com/p/235345817?utm_source=wechat_session
四分位数
顺序从1开始计数 这里的计算也是不对的,最好按numpy默认的配置计算的结果为准

在这里插入图片描述
举例 数列 1 2 3 4 5 6 7 8

上四分位=2x(3-2)*0.75=2.75

第一步 (n+1)/4=求的位置

aa=ndarray=[[1,2,3,4,5,6,7,8,9,10,100],[1,2,2,4,4,4,5,5,5,5,100]]
bb=pd.DataFrame(aa)
min=np.percentile(bb,1,axis=1,interpolation=‘higher’)
max=np.percentile(bb,99,axis=1,interpolation=‘higher’)
1,99 是索引的比例位置
higher lower,是取索引的小值还是大值

官方文档入口：https://docs.scipy.org/doc/numpy/reference/generated/numpy.percentile.html

基于分位数的异常值识别
lizz2276的博客
08-09 1694
>>> df_outlier = pd.DataFrame({'age':[1,2,30,33,34,35,40,41,42,43,100,200], 'height':[10,20,30,40,150,155,160,165,170,175,300,400], 'weight':[10,20,22,25,100,110,120,130,140,150,133,141]}) >>> df_outlier age height weight 0 1 ...
新手村：异常值检测-Z-score与IQR方法
寓教于乐。教己助人
03-16 2422
（聚焦Z-score与IQR方法）掌握均值、中位数、标准差、四分位数等统计量计算。计算均值（μ）和标准差（σ）： 计算每个数据点的Z-score： 设定阈值并筛选异常值： 示例 它绘制数据的直方图和理论上对应的正态分布曲线，并在图中标记出异常值 排序数据并计算Q1、Q3： 计算IQR： 设定上下界并筛选异常值： 示例 数据集：住院天数 计算： Q1 = 4.5，Q3 = 7，IQR = 2.5 下界 = 4.5 - 3.75 = 0.75，上界 = 7 + 3.75 = 10.
np.percentile()函数超详解
热门推荐
卡拿的咸鱼博客
11-29 5万+
官方文档入口：https://docs.scipy.org/doc/numpy/reference/generated/numpy.percentile.html 函数： np.percentile(a, q, axis=None, out=None, overwrite_input=False, interpolation='linear', keepdims=False) 作用：找到一...
np.percentile()函数解析
01-20
函数：      np.percentile(a, q, axis=None, out=None, overwrite_input=False,\u00a0interpolation='linear', keepdims=False) a : array，用来算分位数的对象，可以是多维的数组 q : 介于0-100的float，用来计算是几分位的参数，如四分之一位就是25，如要算两个位置的数就(25,75) axis : 坐标轴的方向，一维的就不用考虑了，多维的就用这个调整计算的维度方向，取值范围0/1 out : 输出数据的存放对象，参数要与预期输出有相同的形状和缓冲区长度 overwrite_in
np.percentile()函数
weixin_45705621的博客
05-26 615
np.percentile()函数 官方文档入口：https://docs.scipy.org/doc/numpy/reference/generated/numpy.percentile.html np.percentile(a, q, axis=None, out=None, overwrite_input=False, interpolation=‘linear’, keepdims=False) 作用：找到一组数的分位数值，如四分位数等 参数说明： | a | array，用来算分位数的对象
np.percentile()（超详细超简单！！！）
程序猿进化梯
04-30 1万+
百分位是一个多维数组中对应每个数的，小于它的数的占总数比。 np.percentile(a, q, axis=None,keepdims:bool) 参数 a : array，用来算分位数的对象，可以是多维的数组 q : 介于0-100的float，用来计算是几分位的参数，如四分之一位就是25，如要算两个位置的数就[0,100]，多个位置如[0,25,50,75,100] axis : axis为0，在纵列上求;axis为1，在横列上求; keepdims:bool,是否保持维度不变。 栗子 impo
NumPy中np.percentile函数详解与应用示例
`np.percentile` 是 Python 中 NumPy 库提供的一个非常强大且常用的统计函数，主要用于计算数组中某个指定百分位数（分位数）的值。该函数在数据分析、数据预处理、异常值检测、描述性统计等领域具有广泛的应用价值...
np.pencentile
06-09
中提供了一个计算P95（第95百分位数）的示例：`importnumpyasnp``cpu_usage=[10,12,15,13,18,20,17,15,14,16,80,95]``p95=np.percentile(cpu_usage,95)``print(f"CPU使用率的P95:{p95}")`根据这个示例，我们可以详细...
import pandas as pd import numpy as np from scipy.spatial.distance import euclidean from sklearn.preprocessing import StandardScaler def detect_timeseries_anomalies(df): # 1. 数据预处理：转换为时间序列格式 ts_df = df.pivot_table( index=['EQP_G', 'EQ_ID', 'EQ_ID_PRE'], columns='SHIFT_DATE', values='EQ_CN', fill_value=0 ).reset_index() print(ts_df) # 2. 计算群组和机型大小 ts_df['group_size'] = ts_df.groupby('EQP_G')['EQ_ID'].transform('count') ts_df['model_size'] = ts_df.groupby(['EQP_G', 'EQ_ID_PRE'])['EQ_ID'].transform('count') # 3. 提取时间序列特征 def extract_time_features(row): series = row.drop(['EQP_G', 'EQ_ID', 'EQ_ID_PRE', 'group_size', 'model_size']).values.astype(float) features = { 'mean': np.mean(series), 'std': np.std(series), 'max': np.max(series), 'min': np.min(series), 'trend': np.polyfit(range(len(series)), series, 1)[0], # 线性趋势斜率 'volatility': np.mean(np.abs(np.diff(series))), # 波动性 'zero_days': np.sum(series == 0), # 零异常天数 'spike_days': np.sum(series > np.percentile(series, 90)) # 异常峰值天数 } return features ts_df['time_features'] = ts_df.apply(extract_time_features, axis=1) # 4. 初始化结果列 ts_df['isdetected'] = False ts_df['isanomaly'] = False ts_df['anomaly_score'] = np.nan # 5. 处理满足条件的组 condition = (ts_df['group_size'] >= 2) & (ts_df['model_size'] >= 2) & (ts_df['model_size'] <= 10) detected_groups = ts_df[condition].copy() if not detected_groups.empty: # 按群组和机型分组处理 grouped = detected_groups.groupby(['EQP_G', 'EQ_ID_PRE']) for (EQP_G, model), group in grouped: if len(group) < 2: continue # 提取特征矩阵 feature_names = list(group.iloc[0]['time_features'].keys()) feature_matrix = np.array([ list(device_features['time_features'].values()) for _, device_features in group.iterrows() ]) # 标准化特征 scaler = StandardScaler() scaled_features = scaler.fit_transform(feature_matrix) # 计算设备间的欧氏距离 n_devices = len(group) distance_matrix = np.zeros((n_devices, n_devices)) for i in range(n_devices): for j in range(i + 1, n_devices): dist = euclidean(scaled_features[i], scaled_features[j]) distance_matrix[i, j] = dist distance_matrix[j, i] = dist # 计算每个设备的平均距离（异常评分） avg_distances = np.sum(distance_matrix, axis=1) / (n_devices - 1) # 使用IQR方法确定异常阈值 q1 = np.percentile(avg_distances, 25) q3 = np.percentile(avg_distances, 75) iqr = q3 - q1 upper_bound = q3 + 1.5 * iqr # 标记异常设备 is_anomaly = avg_distances > upper_bound # 更新结果 group_indices = group.index ts_df.loc[group_indices, 'isdetected'] = True ts_df.loc[group_indices, 'isanomaly'] = is_anomaly ts_df.loc[group_indices, 'anomaly_score'] = avg_distances # 6. 合并回原始数据格式 result_df = df.merge( ts_df[['EQP_G', 'EQ_ID', 'EQ_ID_PRE', 'isdetected', 'isanomaly', 'anomaly_score', 'time_features']], on=['EQP_G', 'EQ_ID', 'EQ_ID_PRE'], how='left' ) return result_df df = pd.read_csv('../0923.csv') df = pd.DataFrame(df) # 执行检测 result = detect_timeseries_anomalies(df) # 显示结果 result.to_excel('result_time_926.xlsx', index=False) #print(result_df[['EQP_G', 'EQ_ID', 'EQ_ID_PRE', 'total_cn', 'SHIFT_DATE', 'is_detected', 'is_anomaly', # 'anomaly_score']])，解释一下以上代码
最新发布
11-26
'spike_days': np.sum(series > np.percentile(series, 90)) # 异常峰值天数（超过90%分位数的天数） } return features ts_df['time_features'] = ts_df.apply(extract_time_features, axis=1) ``` - 为每个...
代码中说的热图表示什么含义，能从图中获得什么信息： 热图颜色无变化问题修复：问题原因：imshow函数默认使用线性颜色映射，当数据范围变化小时难以区分颜色差异解决方案：使用pcolormesh替代imshow，更适合显示连续变化的浓度数据添加对数变换增强颜色对比度：log_conc = np.log10(conc_arr + 1e10)设置明确的最小/最大值范围：vmin=np.min(log_conc), vmax=np.max(log_conc)使用shading='auto'确保平滑的颜色过渡
11-20
# 计算颜色范围（使用1%和99%分位数避免极端值影响） vmin = np.percentile(log_conc, 1) vmax = np.percentile(log_conc, 99) # 使用pcolormesh创建热图 im = ax2.pcolormesh(T, Z, log_conc, shading='...
【Numpy】一文向您详细介绍 np.percentile()
创作高质量博文，分享知识，共同进步！
05-12 4217
🚀解锁Numpy强大功能，揭秘`np.percentile()`！🔍 从基础到进阶，本文全面介绍Numpy中的`np.percentile()`函数。📈快速掌握计算单一、多个百分位数的方法，深入探索轴参数、插值参数的高级用法。无论是数据分析还是统计建模，`np.percentile()`都是你的得力助手！#Numpy #np.percentile #数据分析 #统计建模 #Python
numpy库np.percentile（python）
weixin_42108215的博客
07-08 1741
print(np.percentile(lengths_texts.counts, 90)) print(np.percentile(lengths_texts.counts, 95)) print(np.percentile(lengths_texts.counts, 99))打印结果：79.0 106.0 193.01000000000022取所在百分比位置的词...
【python】numpy.percentile()函数
yipala的博客
10-06 3万+
numpy.percentile() 1.函数 百分位数是统计中使用的度量，表示小于这个值的观察值的百分比。 函数numpy.percentile()接受以下参数。 np.percentile(a, q, axis=None, out=None, overwrite_input=False, interpolation='linear', keepdims=False) 2.参数说明： a: 输...
numpy.percentile()函数
u011699626的博客
10-22 3913
调用方法： numpy.percentile(a, q, axis=None, out=None, overwrite_input=False, interpolation='linear', keepdims=False) 各个参数意义 a：输入数组，或者一些能够被转换为数组的 q：百分数，应该介于0到100之间 axis：（可选参数）决定沿着哪一个轴计算百分数，默认将数组扁平化以后再计算百分数。具体坐标轴设定用法同numpy.ptp()函数。这里不做过多讨论。 有返回值，返回值为一个元组类型的索引数组
np.percentile函数详解
weixin_37522117的博客
08-29 2601
np.percentile函数详解
python numpy np.percentile
君子不器
10-14 2504
""" np.percentile获取中位数、百分位数 给定一个递增数组a，求它的中位数。 np.percentile(a,50) 中位数就是50%处的数字，也可以获得0%、100%处的数字，0%处的数字就是第一个数字，100%处的数字就是最后一个数字。 1/(len(a)-1)*100处的数字就是第2个数字，2/(len(a)-1)*100处的数字就是第3个数字，以此类推。 np.percent...
深入解析 `np.percentile`：数据分析中的百分位魔法
xycxycooo的博客
09-25 4773
是一个强大的工具，可以帮助我们轻松计算数据的百分位数。通过详细的代码示例和解释，我们深入探讨了其工作原理及实际应用。希望本文能够帮助你更好地理解和应用这一技术！如果你有任何问题或建议，欢迎在评论区留言！
python异常值检测的方法_Python数据分析异常值检测和处理
weixin_39789792的博客
11-23 2280
这种方法是利用箱型图的四分位距（IQR）对异常值进行检测，也叫Tukey‘s test。箱型图的定义如下：四分位距(IQR)就是上四分位与下四分位的差值。而我们通过IQR的1.5倍为标准，规定：超过上四分位+1.5倍IQR距离，或者下四分位-1.5倍IQR距离的点为异常值。下面是Python中的代码实现，主要使用了numpy的percentile方法。也可以使用seaborn的可视化方法boxpl...
【机器学习】Python数据预处理（1）异常值处理
zeo_m的博客
08-20 7047
异常值 数据预处理第一步，通常是对异常值的处理。首先，要得到数据的上四分位数和下四分位数，利用np.percentile()，用法如下。 import numpy as np x = np.array([[1,2,3],[7,8,9]]) Q1 = np.percentile(x,25) # 1st quartile Q3 = np.percentile(x,75) # 3st quartil...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值