Spark ML中的Estimator源码解析

最新推荐文章于 2025-12-03 17:31:48 发布

原创

最新推荐文章于 2025-12-03 17:31:48 发布 · 165 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark-ml #机器学习 #spark

本文解析了SparkML库中的Estimator类，介绍了其抽象结构，包括fit方法的不同用法，如单个模型拟合、参数映射和多模型训练。适用于基于Spark数据集训练模型并调整参数的场景。

Spark ML中的Estimator源码解析

1. 源码加上中文注释

/**
 * :: DeveloperApi ::
 * 用于将模型拟合到数据的估计器的抽象类。
 */
@DeveloperApi
abstract class Estimator[M <: Model[M]] extends PipelineStage {
   
   

  /**
   * 使用可选参数将单个模型拟合到输入数据。
   *
   * @param dataset 输入数据集
   * @param firstParamPair 第一个参数对，覆盖嵌入参数
   * @param otherParamPairs 其他参数对。这些值会覆盖此估计器嵌入 ParamMap 中指定的任何值。
   * @return 拟合后的模型
   */
  @Since("2.0.0")
  @varargs
  def fit(dataset: Dataset[_], firstParamPair: ParamPair[_], otherParamPairs: ParamPair[_]*)