pyspark之二分类决策树算法

最新推荐文章于 2024-07-31 15:08:57 发布

原创

最新推荐文章于 2024-07-31 15:08:57 发布 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#决策树 #pyspark

本文详细介绍了如何利用PySpark库构建二分类决策树模型。内容涵盖数据预处理、模型训练、参数调优及预测，展示了在大规模数据集上应用决策树算法的过程。

# 首先还是设定数据目录，取决于你的pyspark是什么方式启动的
global Path
if sc.master[0:5] == 'local':
    Path = 'file:/home/swt/pythonwork/PythonProject/'
else:
    Path = "hdfs://localhost:9000/user/swt/"

import numpy as np
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.tree import DecisionTree

# 加载数据
print('load data...')
rawDataWithHeader = sc.textFile(Path+'data/train.tsv')
header = rawDataWithHeader.first()
rawData=rawDataWithHeader.filter(lambda x:x !=header)
rData=rawData.map(lambda x:x.replace("\"",""))
lines = rData.map(lambda x:x.split("\t"))

def extract_features(fleld,catedoriesMap,featureEnd):
    categoryidx = catedoriesMap[fleld[3]]
    categoryfeatures = np.zeros(len(catedoriesMap))
    categoryfeatures[categoryidx] = 1
    numericalFeatures=[convert_float(fleld) for fleld in fleld[4:featureEnd]]
    return np.concatenate((categoryfeatures,numericalFeatures))

def convert_float(x):
    return (0 if x=="?" else float(x))

def extract_label(field