使用Isolation forest算法处理大规模数据方法介绍

最新推荐文章于 2025-03-19 10:23:50 发布

原创

最新推荐文章于 2025-03-19 10:23:50 发布 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了如何使用Isolation Forest算法处理超过千万条的大规模数据，面对高CPU或内存使用情况，提出了分块批处理的思想。通过将数据拆分为小块进行计算，然后整合结果，有效降低了对硬件的需求。这种方法适合初学者提升效率，解决实际问题。

在做数据挖掘时，我们常常因为自身电脑的配置不高，所以在运行代码时出现，cpu利用率太高或者内存使用率直接爆表的情况。在这里我介绍一种处理方法，这种方法所传递的思想，也可以用到类似的场景中去。本文是基于Isolation forest处理异常数据所采用的方法，其中原始数据非常庞大，数据量超过千万条，虽然Isolation forest这个算法实用性非常大，但是当数据量达到一定程度时，对于电脑硬件也是非常吃力的。所以我这里直接使用了一个分块批处理的思想方法(批处理思想：将一个大规模数据分成多个小块进行计算，然后汇总整合得出结果),这种思想在计算机领域应用很广泛，我在这里再补充一点，这种方法更多的是给一些初学者提高一个思考的方向，用以提高效率，解决实际问题。

数据量：1000w以上

运行环境：python3.7+pycharm

代码：

#!/usr/bin/env python3
#coding=utf-8

import pandas as pd
from sklearn.ensemble import IsolationForest
import os
import numpy as np

#使用isolation forest算法去除异常
def fileter_sale_data():
    rfilename='a.csv'
    df=pd.read_csv(rfilename,engine='python',encoding='utf-8')
    need_col=np.array(df['discount_price'].values)
    ifmodel=IsolationForest(n_jobs=-1,max_samples=256,verbose=2)
    ifmodel.fit(need_col.reshape(-1,1)) #使用values.reshape(-1,1)将一维数组转换成二维数组
    lendata=df.discount_price.shape[0]
    #print(lendata)
    batch=10**5
    #将大规模数据进行分块处理计算