使用 Spark ML Pipeline 进行机器学习

最新推荐文章于 2025-05-27 23:59:15 发布

原创

最新推荐文章于 2025-05-27 23:59:15 发布 · 6.3k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #Spark #Pipeline #ML #机器学习

Spark ML Pipeline 是受到 scikit-learn 启发而引入的，用于构建复杂的机器学习工作流。它基于 DataFrames，允许连接多个转换器和预测器，简化了数据处理和模型训练的流程。Pipeline 包括转换器（Transformer）和预测器（Estimator），两者都可以通过 Pipeline 链接在一起形成工作流。在训练时，DataFrame 会依次经过每个 stage，包括转换和模型训练；在测试时，PipelineModel 会使用训练好的模型处理新数据。Pipeline 提供了 DAG 结构支持，并在运行时进行类型检查，确保一致性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark ML Pipeline 的引入，是受到 scikit-learn 的启发，虽然 MLlib 已经足够简单实用，但如果目标数据集结构复杂，需要多次处理，或是在学习过程中，要使用多个转化器 (Transformer) 和预测器 (Estimator)，这种情况下使用 MLlib 将会让程序结构极其复杂。所以，一个可用于构建复杂机器学习工作流应用的新库已经出现了，它就是 Spark 1.2 版本之后引入的 ML Pipeline。ML Pipeline 是建立在 DataFrames 上的更高层次的 API 库，旨在帮助使用者来创建和调试实际的机器学习工作流。

Pipeline 组件

DataFrame

ML API 使用 Spark SQL 中的 DataFrame 作为机器学习数据集，可以容纳很多种类型的数据：文本、向量、图像和结构化数据等等。Spark DataFrame 以 RDD(Resilient Distributed Datasets) 为基础，但是带有 Schema（数据库中对象的集合）信息，类似于传统数据库中的二维表格。

Transformer

中文可译作转换器，继承自