Spark MLlib 课堂学习笔记 - 逻辑回归

最新推荐文章于 2023-07-17 15:01:37 发布

ItStar_

最新推荐文章于 2023-07-17 15:01:37 发布

阅读量575

点赞数

本文介绍如何使用Spark MLlib中的逻辑回归算法，包括SGD梯度下降法和LBFGS两种实现方式，通过交通事故数据集的实际操作，展示了从数据准备到模型训练及预测的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

关于逻辑回归的算法原理Spark官方文档里有说明，另外网上也有中文翻译文档可参考。本笔记是学习MLlib的辑回归API使用时一道练习题记录，通过这道练习，可以掌握基本使用。MLLib提供了两种算法实现，分别是SGD梯度下降法和LBFGS。

1. 数据文件

交通事故的统计文件，四列，accident(去年是否出过事故，1表示出过事故，0表示没有)，age(年龄数值型)，vision(视力状况，分类型，1表示好，0表示有问题)，drive(驾车教育，分类型，1表示参加过驾车教育，0表示没有)。第1列是因变量，其它3列是特征。这是一个用空格分隔的文本文件，要使用MLLib算法库，首先要读文件并转成LabeledPoint数据类型的RDD。

[plain] view plain copy

1 17 1 1
1 44 0 0
1 48 1 0
1 55 0 0
1 75 1 1
0 35 0 1
0 42 1 1
0 57 0 0
0 28 0 1
0 20 0 1
0 38 1 0
0 45 0 1
0 47 1 1
0 52 0 0
0 55 0 1
1 68 1 0
1 18 1 0
1 68 0 0
1 48 1 1
1 17 0 0
1 70 1 1
1 72 1 0
1 35 0 1
1 19 1 0
1 62 1 0
0 39 1 1
0 40 1 1
0 55 0 0
0 68 0 1
0 25 1 0
0 17 0 0
0 45 0 1
0 44 0 1
0 67 0 0
0 55 0 1
1 61 1 0
1 19 1 0
1 69 0 0
1 23 1 1
1 19 0 0
1 72 1 1
1 74 1 0
1 31 0 1
1 16 1 0
1 61 1 0

2. SGD算法

[plain] view plain copy

package classify
/*
accident.txt
accident(去年是否出过事故，1表示出过事故，0表示没有)
age(年龄数值型)
vision(视力状况，分类型，1表示好，0表示有问题)
drive(驾车教育，分类型，1表示参加过驾车教育，0表示没有)
*/
import org.apache.spark.mllib.linalg.{Vector, Vectors}
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.mllib.classification.LogisticRegressionWithSGD
import org.apache.spark.{SparkConf, SparkContext}
object LogisticSGD {
def parseLine(line: String): LabeledPoint = {
val parts = line.split(" ")
val vd: Vector = Vectors.dense(parts(1).toDouble, parts(2).toDouble, parts(3).toDouble)
return LabeledPoint(parts(0).toDouble, vd )
}
def main(args: Array[String]){
val conf = new SparkConf().setMaster(args(0)).setAppName("LogisticSGD")
val sc = new SparkContext(conf)
val data = sc.textFile(args(1)).map(parseLine(_))
val splits = data.randomSplit(Array(0.6, 0.4), seed=11L)
val trainData = splits(0)
val testData = splits(1)
val model = LogisticRegressionWithSGD.train(trainData, 50)
println(model.weights.size)
println(model.weights)
println(model.weights.toArray.filter(_ != 0).size)
val predictionAndLabel = testData.map(p => (model.predict(p.features), p.label))
predictionAndLabel.foreach(println)
}
}

parseLine函数将文本文件的每一行转成一个LabeledPoint数据类型，randomSplit用例把数据集分成训练和测试两部分。val model = LogisticRegressionWithSGD.train(trainData, 50) 执行训练并得到模型，这里的50为迭代次数。val predictionAndLabel = testData.map(p => (model.predict(p.features), p.label))中的model.predict执行预测，testData.map测试数据集的特征值传递给model去预测，并将预测值与原有的label合并形成一个新的map。

3. LBFGS算法

[plain] view plain copy

package classify
import org.apache.spark.mllib.classification.LogisticRegressionWithLBFGS
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.mllib.linalg.{Vector, Vectors}
import org.apache.spark.mllib.regression.LabeledPoint
object LogisticLBFGS {
def parseLine(line: String): LabeledPoint = {
val parts = line.split(" ")
val vd: Vector = Vectors.dense(parts(1).toDouble, parts(2).toDouble, parts(3).toDouble)
return LabeledPoint(parts(0).toDouble, vd )
}
def main(args: Array[String]){
val conf = new SparkConf().setMaster(args(0)).setAppName("LogisticLBFGS")
val sc = new SparkContext(conf)
val data = sc.textFile(args(1)).map(parseLine(_))
val splits = data.randomSplit(Array(0.6, 0.4), seed=11L)
val trainData = splits(0)
val testData = splits(1)
val model = new LogisticRegressionWithLBFGS().setNumClasses(2).run(trainData)
println(model.weights.size)
println(model.weights)
println(model.weights.toArray.filter(_ != 0).size)
val prediction = testData.map(p => (model.predict(p.features), p.label))
//println(prediction)
prediction.foreach(println)
}
}