spark mllib 分类预测之逻辑回归

本文介绍了一种使用Spark MLLib中的逻辑回归算法预测肾细胞癌转移可能性的方法。通过分析患者年龄、VEGF水平等特征,该模型能够帮助医生评估患者癌症转移的风险。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

胃癌转移数据说明

肾细胞癌转移情况(有转移 y=1,无转移 y=2)
x1:确诊时患者年龄(岁)
x2:肾细胞癌血管内皮生长因子(VEGF),其阳性表述由低到高共3个等级
x3:肾细胞癌组织内微血管数(MVC)
x4:肾癌细胞核组织学分级,由低到高共4级
x5:肾细胞癌分期,由低到高共4级

y x1 x2 x3 x4 x5
0 59 2 43.4 2 1

运行代码如下

package spark.logisticRegression

import org.apache.spark.mllib.classification.LogisticRegressionWithSGD
import org.apache.spark.mllib.evaluation.MulticlassMetrics
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.mllib.util.MLUtils
import org.apache.spark.{SparkConf, SparkContext}

/**
  *  MLLib分类,逻辑回归,是分类,不是回归
  *  胃癌转移判断
  * Created by eric on 16-7-17.
  */
object LogisticRegression4 {
  val conf = new SparkConf() //创建环境变量
    .setMaster("local")      //设置本地化处理
    .setAppName("LogisticRegression4")//设定名称
  val sc = new SparkContext(conf)

  def main(args: Array[String]) {
    val data = MLUtils.loadLibSVMFile(sc, "./src/main/spark/logisticRegression/wa.txt")	//读取数据文件,一定注意文本格式
    val splits = data.randomSplit(Array(0.7, 0.3), seed = 11L)	//对数据集切分
    val parsedData = splits(0)		//分割训练数据
    val parseTtest = splits(1)		//分割测试数据
    val model = LogisticRegressionWithSGD.train(parsedData,50)	//训练模型

    val predictionAndLabels = parseTtest.map {//计算测试值
      case LabeledPoint(label, features) =>	//计算测试值
        val prediction = model.predict(features)//计算测试值
        (prediction, label)			//存储测试和预测值
    }

    val metrics = new MulticlassMetrics(predictionAndLabels)//创建验证类
    val precision = metrics.precision			//计算验证值
    println("Precision = " + precision)	//打印验证值

    val patient = Vectors.dense(Array(70,3,180.0,4,3))	//计算患者可能性
    if(patient == 1) println("患者的胃癌有几率转移。")//做出判断
    else println("患者的胃癌没有几率转移。")	//做出判断
    //Precision = 0.3333333333333333
    //患者的胃癌没有几率转移。
  }
}

wa.txt

0 1:59 2:2 3:43.4 4:2 5:1
0 1:36 2:1 3:57.2 4:1 5:1
0 1:61 2:2 3:190 4:2 5:1
1 1:58 2:3 3:128 4:4 5:3
1 1:55 2:3 3:80 4:3 5:4
0 1:61 2:1 3:94 4:4 5:2
0 1:38 2:1 3:76 4:1 5:1
0 1:42 2:1 3:240 4:3 5:2
0 1:50 2:1 3:74 4:1 5:1
0 1:58 2:2 3:68.6 4:2 5:2
0 1:68 2:3 3:132.8 4:4 5:2
1 1:25 2:2 3:94.6 4:4 5:3
0 1:52 2:1 3:56 4:1 5:1
0 1:31 2:1 3:47.8 4:2 5:1
1 1:36 2:3 3:31.6 4:3 5:1
0 1:42 2:1 3:66.2 4:2 5:1
1 1:14 2:3 3:138.6 4:3 5:3
0 1:32 2:1 3:114 4:2 5:3
0 1:35 2:1 3:40.2 4:2 5:1
1 1:70 2:3 3:177.2 4:4 5:3
1 1:65 2:2 3:51.6 4:4 5:4
0 1:45 2:2 3:124 4:2 5:4
1 1:68 2:3 3:127.2 4:3 5:3
0 1:31 2:2 3:124.8 4:2 5:3

结果如图

 

 

转载于:https://my.oschina.net/sunmin/blog/719742

本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程,历经5年沉淀,调研企业上百家,通过上万学员汇总,保留较为完整的知识体系的同时,让每个模块看起来小而精,碎而不散。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。通过理论和实际的紧密结合,可以使学员对大数据Spark技术栈有充分的认识和理解,在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识;并且通过对流处理原理的学习和批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。本套教程可以让学员熟练掌握Spark技术栈,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。Spark应用场景Yahoo将Spark用在Audience Expansion中的应用,进行点击预测和即席查询等。淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。腾讯大数据精准推荐借助Spark快速迭代的优势,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上。优酷土豆将Spark应用于视频推荐(图计算)、广告业务,主要实现机器学习、图计算等迭代计算。本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季,本套为第10季。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值