《大数据机器学习实践探索》 ---- 使用spark MLlib进行机器学习 （ML 库没有了confusionMatrix？）

最新推荐文章于 2023-08-28 00:45:18 发布
最新推荐文章于 2023-08-28 00:45:18 发布
阅读量585 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据机器学习实践探索 文章标签： ml spark mllib
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangyaninglm/article/details/116768330

文章大纲

ML 库没有了confusionMatrix？

在对多分类进行评估时候，突然发现 新版的基于 ML 库的 评价指标的setMetricName(“confusionMatrix”) 直接报错，里面居然只有：

https://spark.apache.org/docs/2.4.7/mllib-evaluation-metrics.html
https://spark.apache.org/docs/3.0.2/mllib-evaluation-metrics.html
在这里插入图片描述
在这里插入图片描述
通过查看参数，我们看到：
http://spark.apache.org/docs/latest/api/scala/org/apache/spark/ml/evaluation/MulticlassClassificationEvaluator.html#metricName:org.apache.spark.ml.param.Param[String]

指标只有这些：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
R语言中的confusionMatrix函数用于输出分类混淆矩阵
TechChamp的博客
08-25 186
对角线上的数字表示模型正确预测的样本数量，而其他位置的数字表示模型错误预测的样本数量。在本例中，模型正确预测了1个“Cat”样本和2个“Dog”样本，但错误预测了1个“Cat”样本和2个“Dog”样本。在本文中，我们将详细介绍confusionMatrix函数的用法，并提供相应的源代码示例。总结而言，R语言中的confusionMatrix函数是一个方便实用的工具，用于计算分类混淆矩阵和评估模型性能。通过混淆矩阵和相关统计指标，我们可以更好地理解模型在不同类别上的分类表现，并进行合理的模型选择和调优。
讨论 Scikit-learn 在机器学习中的应用（面试题200合集，中频、实用）
最新发布
qq_38334677的博客
05-09 1291
Scikit-learn起源于Google Summer of Code项目，由David Cournapeau于2007年发起。其设计哲学是提供易于使用、通用、高效且可重用的机器学习组件。核心优势：简洁统一的API设计：Scikit-learn为不同的算法提供了高度一致的API接口。例如，几乎所有的估算器（estimator）对象都遵循fit(X, y)（训练模型）、predict(X)（进行预测）、（数据转换）等接口模式。这种一致性极大地降低了学习成本，使得用户可以轻松地在不同模型之间切换和尝试。
【spark】01数据预处理
xixi_258的博客
03-17 718
1 在IDEA运行的环境 val conf=new SparkConf() val sc=new SparkContext(conf) val spark=SparkSession.builder().getOrCreate() import spark.implicits._ 2 读入文件并防止乱码 val df1=spark.read.option("header",true).option("encoding","gbk").csv("hdfs://dfspath") 3 筛选列、字段 selec
spark | 手把手教你用spark进行数据预处理
TechFlow的博客
07-02 2673
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是spark专题的第七篇文章，我们一起看看spark的数据分析和处理。 过滤去重 在机器学习和数据分析当中，对于数据的了解和熟悉都是最基础的。所谓巧妇难为无米之炊，如果说把用数据构建一个模型或者是支撑一个复杂的上层业务比喻成做饭的话。那么数据并不是“米”，充其量最多只能算是未脱壳的稻。要想把它做成好吃的料理，必须要对原生的稻谷进行处理。 但是处理也并不能乱处理，很多人做数据处理就是闷头一套三板斧。去空值、标准化还有one-hot，这一套流
confusion matrix
程永强
07-06 2481
confusion matrix https://scikit-learn.org/stable/modules/model_evaluation.html confusion [kən'fjuːʒ(ə)n]：n. 混淆，混乱，困惑 The confusion_matrix function evaluates classification accuracy by computing the confusion matrix with each row corresponding to the true
name ‘confusion_matrix‘ is not defined
duohuanxi的博客
08-07 1万+
今天使用混淆矩阵的时候报了这个错误：name 'confusion_matrix' is not defined 源代码如下： print(confusion_matrix(y_test,y_pred,labels=range(n_classes))) 检查了好久都感觉没错呀，但是代码一运行就是会出现这个错误，从头到尾再检查一遍，发现是没有引入这个包，真是太可笑了，O(∩_∩)O哈哈~ from sklearn.metrics import confusion_matrix ...
大数据开发之机器学习总结（Spark Mllib）（四）
xiaohu21的博客
10-31 1017
大数据开发之机器学习总结（Spark Mllib）（四） 背景 在大数据和机器学习交叉的领域，如果公司选择了hadoop生态，结合spark框架，则spark 的mllib用于机器学习实际应用就是不二选择了。 团队有spark基础，学习和适用门槛低。但如果选择python生态，则需要团队有python基础，另外个人认为，python工程化对比java生态还是差了那么一些意思。 1. Spark MLLib简介 spark的mllib目前支持4种常见机器学习问题，分类，回归，聚类，协同过滤。 mlli
机器学习：SparkMLlib与SparkML中的分类算法
### 机器学习：Spark MLlib与Spark ML中的分类算法 在机器学习领域，分类算法是一个重要的研究方向，尤其是在处理各种实际问题时，如欺诈检测、疾病预测等。本文将围绕Spark MLlib和Spark ML中的分类算法展开，详细...
Spark MLlib机器算法入门实战
尬聊码农
07-16 1342
1、机器学习简介 1.1、 什么是机器学习 机器学习这个词是让人疑惑的，首先它是英文名称Machine Learning(简称ML)的直译，在计算界Machine一般指计算机。这个名字使用了拟人的手法，说明了这门技术是让机器“学习”的技术。但是计算机是死的，怎么可能像人类一样“学习”呢？ 传统上如果我们想让计算机工作，我们给它一串指令，然后它遵照这个指令一步步执行下去。有因有果，非常明确。但这样的...
基于Spark MLlib和Spark Streaming实现准实时分类
光于前裕于后的博客
05-21 982
环境版本： ·Spark 2.0 ·Scala 2.11.8   在网上搜索Spark MLlib和Spark Streaming结合的例子几乎没有，我很疑惑，难道实现准实时预测有别的更合理的方式？望大佬在评论区指出。本篇博客思路很简单，使用Spark MLlib训练并保存模型，然后编写Spark Streaming程序读取并使用模型。需注意的是，在使用Spark MLlib之前我使用了python查看分析数据、清洗数据、特征工程、构造数据集、训练模型等等，且在本篇中直接使用了python构造的数据集。
基于Spark的数据处理分析系统的设计与实现
10-25
基于Spark的数据处理分析系统的设计与实现随着计算机和信息技术的迅猛发展和普及应用,行业应用系统的规模迅速扩大,行业应用所产生的数据呈爆炸性增长。寻求有效的大数据处理技术、方法和手段已经成为现实世界...
多分类问题中混淆矩阵(Confusion Matrix)的Matlab画法
12-07
Matlab code for computing and visualization: Confusion Matrix, Precision/Recall, ROC, Accuracy, F-Measure etc. for Classification. Matlab通过分类的label计算混淆矩阵Confusion Matrix并且显示的函数只要一句代码就行了，方便。 [confusion_matrix]=compute_confusion_matrix(predict_label,num_in_class,name_class);
Spark学习（一）基础数据预处理
谦芊珺
07-28 3850
本文写在进行spark学习的过程中，学习过程主要参考 http://blog.youkuaiyun.com/u013719780/article/details/517687201、导包from pyspark import SparkContext 2、提交脚本 spark-submit pythonapp.py 3、导入数据user_data = sc.textFile('/路径/ml-100k/u.us
用Apache Spark做大数据处理——第四部分：Spark MLlib机器学习库(英文版)
zhi_fu的博客
07-22 1458
In this article, we'll discuss machine learning concepts and how to use Apache Spark MLlib library for running predictive analytics. We will use a sample application to illustrate the powerful API Spa
mllib逻辑回归 spark_使用Spark ml进行逻辑回归（数据框）
weixin_42305163的博客
01-13 187
I wrote the following code for logistic regression, I want to use the pipeline API provided by spark.ml. However it gave me an error after I try to print coefficients and intercepts. Also I am having ...
R语言中的混淆矩阵与confusionMatrix函数
PixelNinja的博客
08-28 658
混淆矩阵（Confusion Matrix）是在机器学习和统计学中常用的评估分类模型性能的工具。它可以帮助我们了解分类器在不同类别上的预测准确性，并且可以计算出一系列的评估指标，如准确率、召回率、精确率和F1值等。通过混淆矩阵，我们可以更好地理解分类器在各个类别上的预测准确性，并通过统计指标来评估模型的性能。混淆矩阵的主要部分是一个二维表格，行表示预测的类别，列表示真实的类别。表格中的每个单元格表示在真实类别为行指示的类别的样本中，模型预测为列指示的类别的数量。将包含生成的混淆矩阵。总结而言，R语言中的。
python版本及ML库
wishchinYang的专栏
10-27 2010
最近发现SciPy的最高版本是3.2，只能是退而求其次，不使用最新版本了！！！
R语言中的分类混淆矩阵与confusionMatrix函数
HackSquad的博客
08-26 259
混淆矩阵的主要部分是一个二维表格，其中行表示预测的类别，列表示实际的类别。例如，在上述示例中，模型将1个样本预测为类别A，2个样本预测为类别B，以及2个样本预测为类别A。它提供了丰富的统计指标，帮助我们评估模型的性能并做出相应的改进。通过分析混淆矩阵，我们可以更好地理解模型的预测结果，并针对性地优化分类模型。它可以显示模型在不同类别上的预测结果与真实标签之间的关系，帮助我们了解模型的准确性和错误类型。通过分析分类混淆矩阵，我们可以识别出模型在某些类别上的表现较好或较差，从而针对性地优化模型或调整阈值。
混淆矩阵及confusion_matrix函数的使用
热门推荐
m0_38061927的博客
08-15 9万+
关于混淆矩阵的概念，可参考此篇博文混淆矩阵1.混淆矩阵 混淆矩阵是机器学习中总结分类模型预测结果的情形分析表，以矩阵形式将数据集中的记录按照真实的类别与分类模型作出的分类判断两个标准进行汇总。这个名字来源于它可以非常容易的表明多个类别是否有混淆（也就是一个class被预测成另一个class）下图是混淆矩阵的一个例子 其中灰色部分是真实分类和预测分类结果相一致的，绿色部分是真实分类和预测分类不一致
最新Python机器学习库scikit-learn 0.24.2发布
Python是一种广泛使用的高级编程语言，它拥有强大的库支持，这使得Python在数据分析、机器学习、科学计算等多个领域中非常流行。Python库是一组特定的模块或包，包含了一组特定功能的代码，可以被其他Python程序调用...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shiter

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值