44、Apache Spark机器学习：模型训练、验证与流式处理详解

Apache Spark机器学习：模型训练、验证与流式处理详解

1. 模型训练与预测

1.1 模型训练

模型通过在预测器实例上调用 apply 方法进行训练，预测值实际上是通过 classify 方法计算得出。示例代码如下：

// 假设 predictor 是预测器实例
predictor() // 调用 apply 方法进行训练

1.2 配置转换器或估计器

有两种方式来配置机器学习转换器或估计器：
- 直接在转换器或估计器上指定参数 ：例如， new LogisticRegression().setMaxIter(30) 。
- 通过参数映射指定参数 ：例如， new ParamMap().put(lr.maxIter -> 30) 。

1.3 训练摘要统计

接下来的测试是生成与训练阶段相关的两个基本统计量：F1分数和AuROC。以下是实现代码：

(for {
  trainPath <- ResourcesLoader.getPath(trainFile)
  testPath <- ResourcesLoader.getPath(testFile)
} yield {
  val lr = new