22、使用Spark进行航班准点率的逻辑回归预测

使用Spark进行航班准点率的逻辑回归预测

1. 环境准备与基础设置

在独立可提交的程序中，需要显式创建 SparkContext 和 SparkSession 变量，代码如下：

from pyspark.sql import SparkSession
from pyspark import SparkContext
sc = SparkContext('local', 'logistic')
spark = SparkSession \
    .builder \
    .appName("Logistic regression w/ Spark ML") \
    .getOrCreate()

之后，导入所需的Python类：

from pyspark.mllib.classification import LogisticRegressionWithLBFGS
from pyspark.mllib.regression import LabeledPoint

1.1 Spark中的逻辑回归

Spark中有两种逻辑回归实现，分别在 pyspark.ml 和 pyspark.mllib 中，这里使用 pyspark.mllib 中的实现。L - BFGS是一种流行的迭代、快速收敛的优化算法，Spark使用