建模前的数据清洗/ETL（python）

最新推荐文章于 2025-05-25 09:05:25 发布

转载最新推荐文章于 2025-05-25 09:05:25 发布 · 126 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/skyEva/p/6089658.html

文章标签：

#python

本文介绍使用Python进行朴素贝叶斯算法所需的数据预处理步骤，包括数据读取、划分训练集与测试集及数据解析等关键操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

建模前的数据清洗/ETL（python）

1. 读取数据

data= open('e:/java_ws/scalademo/data/sample_naive_bayes_data.txt' , 'r')

2. 把数据随机分割为training集和test集

def SplitData(data,max,ind,seed):       ## seed is always be 11L
    test=[]
    train=[]
    random.seed(seed)
    for line in data:
        if random.randint(0,max)==ind:   ## if a random int between 0 and max is ind, then put this line in test Set
            test.append(''.join(line))
        else:
            train.append(''.join(line))
    return train,test

3. 按分割符拆分一个数据集

def parseData(data,delimiter1,delimiter2):   # delimiter1 是拆开X,Y; delimiter2 是拆开Y的每个元素
    x=[]
    y=[]
    for line in data:
        parts = line.split(delimiter1)
        x1 = [float(a) for a in parts[1].split(delimiter2)]
        y1 = float(parts[0])
        ##print x1,y1
        x.append(x1)
        y.append(y1)
    return x,y