spark AUC 计算实现(Scala)

最新推荐文章于 2023-04-06 10:50:46 发布

bianzhicool

最新推荐文章于 2023-04-06 10:50:46 发布

阅读量7.5k

点赞数 3

CC 4.0 BY-SA版权

文章标签： Spark Scala AUC 预测推荐

本文链接：https://blog.youkuaiyun.com/bianzhicool/article/details/53538852

假设预测值的RDD为pred

实际真实值的RDD为realVal

我们计算AUC的公式为：

则AUC的计算可以按如下代码实现：

def aucCal(pred:RDD[(Long,Double)],realVal:RDD[(Long,Double)]):Double={

//join 操作

val pre=pred.zipWithIndex

val label=realVal.zipWithIndex
val combPair=pre.join(label)

//计算正样本的ran

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

bianzhicool

关注关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

scala-sparkML学习笔记：scala解析json文件

MachineLP的专栏

08-30

1442

在搭建一些工程项目时，往往需要有配置文件，而配置文件很多是基于json格式组织的。这里可直接看代码： import scala.util.parsing.json.JSON._ import scala.io.Source object XMLHelloWorld { def main(args: Array[String]): Unit = { def regJson...

广告推荐算法（group auc）评价指标及Spark实现代码

Littleree的博客

01-02

1013

我们曾经有这样的疑惑，那就是训练样本，AUC得到提升。当将新模型放到线上后，却发现实际效果却没有老模型好，这时候很多人就开始疑惑了。在机器学习算法中，很多情况我们都是把auc当成最常用的一个评价指标，而auc反映整体样本间的排序能力，但是有时候auc这个指标可能并不能完全说明问题，有可能auc并不能真正反映模型的好坏，以CTR预估算法(推荐算法一般把这个作为一个很重要的指标)为例，把用户点击的样本当作正样本，没有点击的样本当作负样本，把这个任务当成一个二分类进行处理，最后模型输出的是样本是否被点击的概

1 条评论您还未登录，请先登录后发表或查看评论

Spark上如何做分布式AUC计算

Unicorn

01-15

9412

by 王犇 20160115 AUC是分类模型常用的评价手段，目前的Spark mllib里面evaluation包中所提供的auc方法是拿到了roc曲线中的各个点之后再进行auc的计算，但是实际应用场景中（以逻辑回归为例），我们常常是对每个样本进行打分之后整合样本的label直接进行auc的计算，输入可能是（label, predict_score）这样的形式，mllib中提供的方案就不太适用

关于AUC计算公式推导

BUPT-WT的博客

04-08

4380

sql 计算auc

weixin_30700099的博客

04-02

795

https://tracholar.github.io/machine-learning/2018/01/26/auc.html select (ry - 0.5*n1*(n1+1))/n0/n1 as aucfrom( select sum(if(y=0, 1, 0)) as n0, --50 sum(if(y=1, 1, 0)) as n1,--100...

Spark - AUC、Accuracy、Precision、Recall、F1-Score 理论与实战

BITDDD小栈

04-06

1854

Spark AUC、Accuracy、Precision、Recall、F1-Score 理论与实战。

xgboost-spark-scala

maokunnn的博客

04-07

1300

今天学习写scala，拿xgboost试一下～先记一下xgboost调参要点： 7.xgboost中比较重要的参数介绍（1）objective [ default=reg:linear ] 定义学习任务及相应的学习目标，可选的目标函数如下： “reg:linear” –线性回归。 “reg:logistic” –逻辑回归。 “binary:logistic” –二分类的逻辑回归问题，输出为概...

Spark大数据分析与实战：基于Spark MLlib 实现音乐推荐

06-26

1万+

Spark大数据分析与实战：基于Spark MLlib 实现音乐推荐基于Spark MLlib 实现音乐推荐一、实验背景：熟悉 Audioscrobbler 数据集基于该数据集选择合适的 MLlib 库算法进行数据处理进行音乐推荐（或用户推荐）二、实验目的：计算AUC评分最高的参数利用AUC评分最高的参数，给用户推荐艺术家对多个用户进行艺术家推荐利用AUC评分最高的参数，给艺术家推荐喜欢他的用户三、实验步骤：安装Hadoop和Spark 启动Hadoop与Spark 将文件上传到

AUC的三种计算方法及代码

热门推荐

November、Chopin

11-11

2万+

AUC的计算方法

二分类模型评价指标-Scala实现

此心安处是吾乡

03-25

1505

本文主要使用Scala计算二分类模型的评价指标，包括以下内容： precision、recall、F1Score accuracy AUC KS 对上述指标计算方法进行封装，方便调用。传入参数为预测的数据框构造数据简单的构造数据，得到预测的DataFrame，其包含预测的概率、label和真实的label。 import org.apache.spark.ml.{Model, Pipeli...

spark mllib源码分析之二分类逻辑回归的评价指标

snaillup的博客

08-01

4851

介绍spark中二分类的评价指标及实现，包括AUC，召回率，F-measure等

Spark Machine Learning 05 Spark构建分类模型

weixin_33827731的博客

05-04

302

Spark 构建分类模型在分类模型中，我们期望根据一组特征来判断类别，这些特征代表了物体、事件或上下文相关的属性（变量）。二分类多分类分类是监督学习的一种形式我们用带有类标记 or 类输出的训练样本训练模型（也就是通过输出结果监督被训练的模型）。分类模型适用于很多情形，一些常见的例子如下：预测互联网用户对在线广告的...

ROC和AUC介绍以及如何计算AUC

wsq520521的专栏

11-18

1850

ROC和AUC介绍以及如何计算AUC June 22, 2013 ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣，对两者的简单介绍见这里。这篇博文简单介绍ROC和AUC的特点，以及更为深入地，讨论如何作出ROC曲线图以及计算AUC。 ROC曲线需要提前说明的是，我们这里只讨论二

Spark2.0机器学习系列之2：Logistic回归及Binary分类（二分问题）结果评估

qq_34531825的博客

08-25

2万+

参数设置α：梯度上升算法迭代时候权重更新公式中包含 α ： http://blog.youkuaiyun.com/lu597203933/article/details/38468303 为了更好理解 α和最大迭代次数的作用，给出Python版的函数计算过程。# 梯度上升算法-计算回归系数 # 每个回归系数初始化为1 # 重复R次： # 计算整个数据集的梯度 # 使用α*梯度更新回

笔记︱统计评估指标AUC 详解

素质云笔记

09-25

1万+

文章目录1 AUC的两种解读视角：1.1 ROC曲线与坐标轴形成面积1.2 古典概率模型——求导AUC2 AUC的特性与优劣3 AUC多大才算好？4 线上、线下AUC差异较大成因分析4.1 业务场景使用AUC：点击模型与购买模型的差异4.2 线上、线下AUC有差异5 AUC逻辑升级 - GAUC参考文献 1 AUC的两种解读视角： 1.1 ROC曲线与坐标轴形成面积 AUC 的全称是 AreaUnderRoc 即 Roc 曲线与坐标轴形成的面积，取值范围 [0, 1]. Roc (Receiver ope

使用scala做机器学习模型主要步骤示例

Toby的博客

08-04

2054

本文介绍使用scala做机器学习模型的一个主要步骤示例。这里主要列了些基本环节，可以在此基础上进行扩充。 object mlExample { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("TobyGao") .enableHiveSupport() .getOrCreate() val modelPath = "/user/

AUC理解与实现

羊驼xia的博客

11-16

8995

本文仅用于自我学习，理清思路，并作为笔记保留下来。这是我的第一篇博客，如有不妥，请多多指教。AUC理解AUC（Area under curve）是机器学习常用的二分类评测手段，直接含义是ROC曲线下的面积，如下图：要理解这张图的含义，得先理解下面这个表：表中列代表预测分类，行代表实际分类：实际1，预测1：真正类（tp）实际1，预测0：假负类（fn）实际0，预测1：假正类（fp

scala决策树模型计算roc曲线和混淆矩阵

05-29

要计算Scala决策树模型的ROC曲线和混淆矩阵，你可以按照以下步骤进行： 1. 从Scala的MLlib库中导入DecisionTree模型和BinaryClassificationMetrics类。 ```scala import org.apache.spark.ml.classification.{DecisionTreeClassificationModel, DecisionTreeClassifier} import org.apache.spark.mllib.evaluation.BinaryClassificationMetrics ``` 2. 训练你的决策树模型，并使用它来进行预测。 ```scala val dt = new DecisionTreeClassifier().setLabelCol("label").setFeaturesCol("features") val model = dt.fit(trainingData) val predictions = model.transform(testData) ``` 3. 从预测结果中提取标签和概率，并将它们传递给BinaryClassificationMetrics类的实例。 ```scala val labelsAndScores = predictions.select("label", "probability").rdd.map { row => (row.getAs[Double]("probability")(1), row.getAs[Double]("label")) } val metrics = new BinaryClassificationMetrics(labelsAndScores) ``` 4. 使用BinaryClassificationMetrics类的实例计算ROC曲线和AUC值。 ```scala val roc = metrics.roc().collect() val auc = metrics.areaUnderROC() ``` 5. 使用BinaryClassificationMetrics类的实例计算混淆矩阵。 ```scala val confusionMatrix = metrics.confusionMatrix() ``` 注意，在上述代码中，trainingData和testData是你的训练数据集和测试数据集，label和features是你的数据集中标签和特征的列名。labelsAndScores是一个二元组的RDD，其中第一个元素是预测结果为正例的概率，第二个元素是实际标签。最后，你可以打印出ROC曲线、AUC值和混淆矩阵来评估你的模型的性能。