利用python 计算百分位数实现数据分箱

最新推荐文章于 2024-06-18 10:34:14 发布

原创

最新推荐文章于 2024-06-18 10:34:14 发布 · 9.4k 阅读

16 ·

CC 4.0 BY-SA版权

本文详细介绍如何使用Python的pandas和numpy库实现基于百分位数的数据分箱，通过实例展示了如何生成等频分箱并自定义标签，适用于数据预处理和特征工程。

对于百分位数，相信大家都比较熟悉，以下解释源引自百度百科。

百分位数，如果将一组数据从小到大排序，并计算相应的累计百分位，则某一百分位所对应数据的值就称为这一百分位的百分位数。可表示为：一组n个观测值按数值大小排列。如，处于p%位置的值称第p百分位数。

因为百分位数是采用等分的方式划分数据，因此也可用此方法进行等频分箱。

import pandas as pd
import numpy as np
import random
t=pd.DataFrame(columns=['l','s'])
#随机生成1000个0到999整数
t['l']=[random.randint(0,999) for _range in range(1000)]
#定义s为1，便于统计
t['s']=1
#通过np.percentile找到分位点
l_bin=[]
for i in range(0,101,10):
    l_bin.append(np.percentile(t['l'],i))
#分位点最后一个数加上一个极小的数，否则切分后数字999会标记为nan
l_bin[-1]+=1/1e10
print('分位点:',np.array(l_bin).round(2))
#对随机数进行切分，right=False时左闭右开
t['box']=pd.cut(t['l'],l_bin,right=False)
tj=t.groupby('box')['s'].agg('