第六章（随机梯度下降）

最新推荐文章于 2025-05-17 21:04:32 发布

lhxsir

最新推荐文章于 2025-05-17 21:04:32 发布

阅读量163

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/lhxsir/article/details/83001186

机器学习专栏收录该内容

16 篇文章

订阅专栏

本文详细介绍使用Apache Spark的MLlib库进行线性回归模型训练的过程。通过两个具体的数据集，演示了如何读取数据、预处理数据、训练模型及评估模型效果。首先，介绍了如何配置Spark环境并加载数据集；接着，展示了数据解析、特征向量化以及模型训练的具体步骤；最后，通过预测结果和计算均方误差（MSE）来评估模型的准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

测试数据1：

测试代码1：

import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.{LabeledPoint, LinearRegressionWithSGD}
import org.apache.spark.{SparkConf, SparkContext}
object LinearRegression {
    val conf = new SparkConf()                                     //创建环境变量
            .setMaster("local")                                              //设置本地化处理
            .setAppName("LinearRegression ")                               //设定名称
    val sc = new SparkContext(conf)                                 //创建环境变量实例
    def main(args: Array[String]) {
        val data = sc.textFile("c:/lpsa2.data")							//获取数据集路径
        val parsedData = data.map { line =>							//开始对数据集处理
            val parts = line.split(',')									//根据逗号进行分区
            LabeledPoint(parts(0).toDouble, Vectors.dense(parts(1).split(' ').map(_.toDouble)))
        }.cache()                                                     //转化数据格式
        val model = LinearRegressionWithSGD.train(parsedData, 100,0.1)	//建立模型
        val result = model.predict(Vectors.dense(2,1))					//通过模型预测模型
        println(result)											//打印预测结果
    }
}

结果1：
6.6399076780928095

测试数据2：

65|7,400
90|5,1300
100|4,1100
110|3,1300
60|9,300
100|5,1000
75|7,600
80|6,1200
70|6,500
50|8,30

测试代码2：

import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.{LabeledPoint, LinearRegressionWithSGD}
import org.apache.spark.{SparkConf, SparkContext}

object LinearRegression{
    val conf = new SparkConf()                                     //创建环境变量
            .setMaster("local")                                              //设置本地化处理
            .setAppName("LinearRegression ")                               //设定名称
    val sc = new SparkContext(conf)                                 //创建环境变量实例

    def main(args: Array[String]) {
        val data = sc.textFile("c:/lpsa.data")							  	 //获取数据集路径
        val parsedData = data.map { line =>							 //开始对数据集处理
            val parts = line.split('|')									 //根据逗号进行分区
            LabeledPoint(parts(0).toDouble, Vectors.dense(parts(1).split(',').map(_.toDouble)))
        }.cache()                                                      //转化数据格式
        //转化数据格式
        val model = LinearRegressionWithSGD.train(parsedData, 2,0.1)	  	//建立模型
        val valuesAndPreds = parsedData.map { point => {				//获取真实值与预测值
            val prediction = model.predict(point.features)					//对系数进行预测
            (point.label, prediction)									//按格式存储
        }
        }

        val MSE = valuesAndPreds.map{ case(v, p) => math.pow((v - p), 2)}.mean() //计算MSE
        println(MSE)
    }
}

测试结果2：
1.1747846974449932E23