10、构建回归与分类系统：从理论到实践

构建回归与分类系统：从理论到实践

1. 构建回归系统

回归分析在监督学习中起着至关重要的作用，它能帮助我们理解变量之间的关系并做出预测。下面将详细介绍构建回归系统的步骤。

1.1 定义回归算法管道

在Spark MLlib中，管道是构建机器学习工作流的强大工具。它允许我们将多个转换和模型训练阶段链接起来，确保所有步骤按正确顺序执行。以下代码使用Apache Spark的Pipeline API创建了五个独立的管道，每个管道包含一个机器学习回归模型：

pipeline_lr = Pipeline(stages=[lr])
pipeline_glr = Pipeline(stages=[glr])
pipeline_dt = Pipeline(stages=[dt])
pipeline_rf = Pipeline(stages=[rf])
pipeline_gbt = Pipeline(stages=[gbt])

在这个例子中，每个管道只包含一个阶段，即回归模型本身。

1.2 拟合管道

接下来的代码片段在数据集上训练机器学习模型。每一行代码将不同的回归模型拟合到训练数据上，创建可用于预测的训练模型：

model_lr = pipeline_lr.fit(trainingData)
model_glr = pipeline_glr.fit(trainingData)
model_dt = pipeline_dt.fit(trainingDa