PySpark数据处理-PySpark中的决策树模型

第1关：PySpark数据处理-PySpark中的决策树模型

from pyspark.mllib.tree import DecisionTree, DecisionTreeModel
from pyspark.mllib.util import MLUtils
from pyspark import SparkContext

sc = SparkContext(appName="PythonBookExample")
# 加载数据集
data = MLUtils.loadLibSVMFile(sc, 'project/src/step1/sample_libsvm_data.txt')
# 将数据分成训练集和测试集（30%用于测试）
(trainingData, testData) = data.randomSplit([0.7, 0.3])

# 训练一个决策树模型
# 空的分类功能信息表示所有功能都是连续的
# 要求如下
# 分类数目 numClasses 为 2
# 分类映射表categoricalFeaturesInfo={}为空
# impurity 采用 gini 
# 树的最大深度 maxDepth 为 5 
# maxBins 为 32
########## Begin ##########
model = DecisionTree.trainClassifier(trainingData, numClasses=2, categoricalFeaturesInfo={},
                                     impurity='gini', maxDepth=5, maxBins=32)
########## End ##########

# 测试实例评估模型及测试误差计算
predictions = model.predict(testData.map(lambda x: x.features))
labelsAndPredictions = testData.map(lambda lp: lp.label).zip(predictions)
testErr = labelsAndPredictions.filter(lambda lp: lp[0] != lp[1]).count() / float(testData.count())

# 输出测试误差
print(testErr)