Spark Pipeline 类

Spark Pipeline 类

在 Spark 中，Pipeline 是一个简单的管道，它可以作为一个估计器（Estimator）。Pipeline 由一系列阶段（stage）组成，每个阶段都是一个 Estimator 或者 Transformer。当调用 Pipeline.fit 方法时，阶段会按顺序执行。如果一个阶段是一个 Estimator，则会调用其 Estimator.fit 方法来拟合模型。然后，该模型作为一个 Transformer 被用于将数据集转换为下一个阶段的输入。如果一个阶段是一个 Transformer，则会调用其 Transformer.transform 方法来生成下一个阶段的数据集。从 Pipeline 拟合得到的模型是一个 PipelineModel，它包含了对应于 Pipeline 阶段的拟合模型和变换器。如果没有阶段，Pipeline 就充当一个恒等变换器。

构造方法和属性

class Pipeline @Since("1.4.0") (
  @Since("1.4.0") override val uid: String) extends Estimator[PipelineModel] with MLWritable {
   
   
  
  @Since