Scala语言 + Spark MLLib进行机器学习---线性回归

最新推荐文章于 2025-05-20 00:15:00 发布

翻译最新推荐文章于 2025-05-20 00:15:00 发布 · 3.7k 阅读

文章标签：

#机器学习 #spark #scala #线性回归

机器学习同时被 2 个专栏收录

8 篇文章

订阅专栏

Spark/Scala

5 篇文章

订阅专栏

本文通过实例演示了如何使用Spark加载数据并将其解析为RDD，接着应用线性回归结合随机梯度下降算法训练模型，最后对模型进行了评估，计算了均方误差。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下面的例子展示了如何加载数据，解析为RDD(译者注：RDD为Spark的弹性数据集)；然后利用线性回归+随机梯度下降算法构建一个线性模型，并进行预测，最后计算均方误差(Mean Squared Errors)来对模型进行评估。

import org.apache.spark.mllib.regression.LinearRegressionWithSGD
import org.apache.spark.mllib.regression.LabeledPoint

// Load and parse the data
val data = sc.textFile("mllib/data/ridge-data/lpsa.data")
val parsedData = data.map { line =>
  val parts = line.split(',')
  LabeledPoint(parts(0).toDouble, parts(1).split(' ').map(x => x.toDouble).toArray)
}

// Building the model
val numIterations = 20
val model = LinearRegressionWithSGD.train(parsedData, numIterations)

// Evaluate model on training examples and compute training error
val valuesAndPreds = parsedData.map { point =>
  val prediction = model.predict(point.features)
  (point.label, prediction)
}
val MSE = valuesAndPreds.map{ case(v, p) => math.pow((v - p), 2)}.reduce(_ + _)/valuesAndPreds.count
println("training Mean Squared Error = " + MSE)