机器学习处理离散值方法之 95分位数盖帽法

最新推荐文章于 2023-12-23 02:01:35 发布

语亦情非

最新推荐文章于 2023-12-23 02:01:35 发布

阅读量5.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习实战文章标签： python

本文链接：https://blog.youkuaiyun.com/a1272899331/article/details/98451721

机器学习实战专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种处理数据集中异常值的有效方法，通过计算第95百分位数作为上限，将超出此范围的值替换为该上限值，从而避免了异常值对模型训练的负面影响。这种方法适用于训练和测试数据集，确保数据预处理的一致性和模型的准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

def train_add_hat(x,features):
    import numpy as np
    import pandas as pd
    df=x.copy()
    q95_dict={}
    for col in features:
        q95=np.percentile(df[col],95)
        q95_dict[col]=q95
        b=np.array(df[col])
        c=list(map(lambda x:q95 if x>95 else x,b))
        df=df.drop(col,axis=1)
        df[col]=c
    return df,q95_dict

#用同一标准处理测试集
def add_hat(x,features,q95_dict):
    import numpy as np
    import pandas as pd
    df = x.copy()
    len_d=len(df.index)
    for col in features:
        q95=q95_dict[col]
        b=np.array(df[col])
        c=list(map(lambda x:q95 if x>q95 else x,b))
        df=df.drop(col,axis=1)
        df[col]=c
    return df