pyspark-ml学习笔记：模型评估

最新推荐文章于 2025-07-15 12:46:39 发布

MachineLP

最新推荐文章于 2025-07-15 12:46:39 发布

阅读量3k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：机器学习 Deep learning spark学习文章标签： pyspark学习 pyspark模型评估

本文链接：https://blog.youkuaiyun.com/u014365862/article/details/99973318

spark学习同时被 3 个专栏收录

24 篇文章 ¥39.90 ¥99.00

订阅专栏

机器学习

292 篇文章

订阅专栏

Deep learning

175 篇文章

订阅专栏

在构建分布式机器学习平台时，使用PySpark进行模型训练的过程中，评估模型至关重要。然而，PySpark内置的评估指标有限。本文探讨了两种扩展方法：一是利用UDF自定义代码扩展；二是借助如sklearn等其他框架的API，但需考虑数据结构转换。通过实例代码，阐述了如何在PySpark中实现模型评估。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题是这样的，如果我们想基于pyspark开发一个分布式机器训练平台，那么肯定需要对模型进行评估，而pyspark本身自带模型评估的api很少，想进行扩展的话有几种方案：

（1）使用udf自行编写代码进行扩展。

（2）使用现有的，像sklearn中的api。（不同框架的之间的切换往往需要转换数据结构）

例子如下所示：

'''
模型评估模块：
· pyspark api
· sklearn api
'''

import numpy as np
from pyspark.ml.linalg import Vectors
from start_pyspark import spark, sc, sqlContext 
from pyspark.ml.evaluation import BinaryClassificationEvaluator

scoreAndLabels = map(lambda x: (Vectors.dense([1.0 - x[0], x[0]]), x[1]), [(0.1, 0.0), (0.1, 1.0), (0.4, 0.0), (0.6, 0.0), (0.6, 1.0), (0.6, 1.0), (0.8, 1.0)])
dataset = spark.createDataFrame(scoreAndLabels, ["prediction", "label"])
evaluator = BinaryClassificationEvaluator(rawPredictionCol="prediction")
res = evaluator.evaluate(dataset)
print

了解本专栏