sklearn技巧

最新推荐文章于 2024-07-01 00:45:00 发布

水墨小龙虾

最新推荐文章于 2024-07-01 00:45:00 发布

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python 数据挖掘

本文链接：https://blog.youkuaiyun.com/jianhong1990/article/details/69523525

python 同时被 2 个专栏收录

101 篇文章

订阅专栏

数据挖掘

6 篇文章

订阅专栏

本文介绍了一种数据预处理方法——数据分桶，并展示了如何通过分位数进行数据区间划分，同时提供了使用Python pandas库实现的具体示例。此外，还介绍了如何利用四分位数来识别并处理数据中的异常值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分桶
1. 按照取值范围均分成几个区间

import pandas.core.algorithms as algos
import pandas as pd

bins = algos.quantile(numpy.unique(train_data[item]), numpy.linspace(0, 1, 10))
train_data[item] = pd.tools.tile._bins_to_cuts(train_data[item], bins, include_lowest=True)

按照分位数分成几个区间

train_data[item] = train_data[item].apply(own_bins,args=(train_data[item],))
def own_bins(x, origin_data):
    for i in range(0, 11, 1):
        if x <= origin_data.quantile(i*0.1):
            return i + 1
    return 10

按照4分位做最大值和最小值限制

print train_data[item].quantile(0.75)
print train_data[item].quantile(0.25)
upper = train_data[item].quantile(0.25) - 1.5 * (
train_data[item].quantile(0.75) - train_data[item].quantile(0.25))
lower = train_data[item].quantile(0.75) + 1.5 * (
train_data[item].quantile(0.75) - train_data[item].quantile(0.25))
train_data[item] = numpy.clip(train_data[item], upper, lower)
print train_data[item].describe()
print train_data[item].dtypes