《大数据机器学习实践探索》 ---- 使用spark MLlib进行机器学习 （ML 库没有了confusionMatrix？）

最新推荐文章于 2025-06-05 09:35:23 发布
最新推荐文章于 2025-06-05 09:35:23 发布
阅读量478 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据机器学习实践探索 文章标签： ml spark mllib
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangyaninglm/article/details/116768330

文章大纲

ML 库没有了confusionMatrix？

在对多分类进行评估时候，突然发现 新版的基于 ML 库的 评价指标的setMetricName(“confusionMatrix”) 直接报错，里面居然只有：

https://spark.apache.org/docs/2.4.7/mllib-evaluation-metrics.html
https://spark.apache.org/docs/3.0.2/mllib-evaluation-metrics.html
在这里插入图片描述
在这里插入图片描述
通过查看参数，我们看到：
http://spark.apache.org/docs/latest/api/scala/org/apache/spark/ml/evaluation/MulticlassClassificationEvaluator.html#metricName:org.apache.spark.ml.param.Param[String]

指标只有这些：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
讨论 Scikit-learn 在机器学习中的应用（面试题200合集，中频、实用）
qq_38334677的博客
05-09 1045
Scikit-learn起源于Google Summer of Code项目，由David Cournapeau于2007年发起。其设计哲学是提供易于使用、通用、高效且可重用的机器学习组件。核心优势：简洁统一的API设计：Scikit-learn为不同的算法提供了高度一致的API接口。例如，几乎所有的估算器（estimator）对象都遵循fit(X, y)（训练模型）、predict(X)（进行预测）、（数据转换）等接口模式。这种一致性极大地降低了学习成本，使得用户可以轻松地在不同模型之间切换和尝试。
Spark MLlib机器算法入门实战
尬聊码农
07-16 1292
1、机器学习简介 1.1、 什么是机器学习 机器学习这个词是让人疑惑的，首先它是英文名称Machine Learning(简称ML)的直译，在计算界Machine一般指计算机。这个名字使用了拟人的手法，说明了这门技术是让机器“学习”的技术。但是计算机是死的，怎么可能像人类一样“学习”呢？ 传统上如果我们想让计算机工作，我们给它一串指令，然后它遵照这个指令一步步执行下去。有因有果，非常明确。但这样的...
【spark】01数据预处理
xixi_258的博客
03-17 683
1 在IDEA运行的环境 val conf=new SparkConf() val sc=new SparkContext(conf) val spark=SparkSession.builder().getOrCreate() import spark.implicits._ 2 读入文件并防止乱码 val df1=spark.read.option("header",true).option("encoding","gbk").csv("hdfs://dfspath") 3 筛选列、字段 selec
confusion matrix
程永强
07-06 2366
confusion matrix https://scikit-learn.org/stable/modules/model_evaluation.html confusion [kən'fjuːʒ(ə)n]：n. 混淆，混乱，困惑 The confusion_matrix function evaluates classification accuracy by computing the confusion matrix with each row corresponding to the true
深度探索Spark+MLlib机器学习实践指南
最新发布
weixin_32252929的博客
06-05 723
Apache Spark 是一个开源的分布式计算系统，它提供了一个快速通用的计算引擎，特别适合大规模数据处理。与传统的 MapReduce 相比，Spark 在内存计算方面具有显著优势，能够大幅提高数据处理速度。机器学习（Machine Learning, ML）是一门多领域交叉学科，涉及统计学、计算机科学和应用数学等多个领域。它的主要任务是使计算机系统能够通过经验自我改进，无需明确编程。机器学习的核心在于模型建立，通过学习输入数据来预测未来数据输出，或者在给定数据中发现一些有意义的模式。
name ‘confusion_matrix‘ is not defined
duohuanxi的博客
08-07 1万+
今天使用混淆矩阵的时候报了这个错误：name 'confusion_matrix' is not defined 源代码如下： print(confusion_matrix(y_test,y_pred,labels=range(n_classes))) 检查了好久都感觉没错呀，但是代码一运行就是会出现这个错误，从头到尾再检查一遍，发现是没有引入这个包，真是太可笑了，O(∩_∩)O哈哈~ from sklearn.metrics import confusion_matrix ...
spark | 手把手教你用spark进行数据预处理
TechFlow的博客
07-02 2614
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是spark专题的第七篇文章，我们一起看看spark的数据分析和处理。 过滤去重 在机器学习和数据分析当中，对于数据的了解和熟悉都是最基础的。所谓巧妇难为无米之炊，如果说把用数据构建一个模型或者是支撑一个复杂的上层业务比喻成做饭的话。那么数据并不是“米”，充其量最多只能算是未脱壳的稻。要想把它做成好吃的料理，必须要对原生的稻谷进行处理。 但是处理也并不能乱处理，很多人做数据处理就是闷头一套三板斧。去空值、标准化还有one-hot，这一套流
Spark学习（一）基础数据预处理
谦芊珺
07-28 3822
本文写在进行spark学习的过程中，学习过程主要参考 http://blog.youkuaiyun.com/u013719780/article/details/517687201、导包from pyspark import SparkContext 2、提交脚本 spark-submit pythonapp.py 3、导入数据user_data = sc.textFile('/路径/ml-100k/u.us
大数据开发之机器学习总结（Spark Mllib）（四）
xiaohu21的博客
10-31 994
大数据开发之机器学习总结（Spark Mllib）（四） 背景 在大数据和机器学习交叉的领域，如果公司选择了hadoop生态，结合spark框架，则spark 的mllib用于机器学习实际应用就是不二选择了。 团队有spark基础，学习和适用门槛低。但如果选择python生态，则需要团队有python基础，另外个人认为，python工程化对比java生态还是差了那么一些意思。 1. Spark MLLib简介 spark的mllib目前支持4种常见机器学习问题，分类，回归，聚类，协同过滤。 mlli
spark MLlib 之构建机器学习系统
热门推荐
jslijb的博客
06-22 1万+
构建 spark 机器学习系统 spark 机器学习系统架构 spark 和 hadoop 集群的安装 spark-shell 加载数据 探索数据 数据统计信息 数据质量分析 数据特征分析 数据可视化 数据预处理 数据清理 数据变换 数据集成 数据归约 构建模型 模型评估方法 组装 模型选择或调优 交叉验证(CrossValidator)： 训练验证切分 (TrainValidatio...
HCIA-Bigdata题库深度学习：大数据技术应用探究与案例分析
本文首先介绍了大数据与深度学习的基础概念，并深入探讨了大数据技术框架与工具，如Hadoop生态系统和Spark平台。随后，文章转而分析深度学习的基础理论和应用实践，包括神经网络和常用深度学习算法，及其在大数据中...
基于Spark的数据处理分析系统的设计与实现
10-25
基于Spark的数据处理分析系统的设计与实现随着计算机和信息技术的迅猛发展和普及应用,行业应用系统的规模迅速扩大,行业应用所产生的数据呈爆炸性增长。寻求有效的大数据处理技术、方法和手段已经成为现实世界...
spark Mllib 协同过滤测试数据
05-27
spark Mllib 协同过滤测试数据
用Apache Spark做大数据处理——第四部分：Spark MLlib机器学习库(英文版)
zhi_fu的博客
07-22 1434
In this article, we'll discuss machine learning concepts and how to use Apache Spark MLlib library for running predictive analytics. We will use a sample application to illustrate the powerful API Spa
mllib逻辑回归 spark_使用Spark ml进行逻辑回归（数据框）
weixin_42305163的博客
01-13 167
I wrote the following code for logistic regression, I want to use the pipeline API provided by spark.ml. However it gave me an error after I try to print coefficients and intercepts. Also I am having ...
R语言中的混淆矩阵与confusionMatrix函数
PixelNinja的博客
08-28 614
混淆矩阵（Confusion Matrix）是在机器学习和统计学中常用的评估分类模型性能的工具。它可以帮助我们了解分类器在不同类别上的预测准确性，并且可以计算出一系列的评估指标，如准确率、召回率、精确率和F1值等。通过混淆矩阵，我们可以更好地理解分类器在各个类别上的预测准确性，并通过统计指标来评估模型的性能。混淆矩阵的主要部分是一个二维表格，行表示预测的类别，列表示真实的类别。表格中的每个单元格表示在真实类别为行指示的类别的样本中，模型预测为列指示的类别的数量。将包含生成的混淆矩阵。总结而言，R语言中的。
python版本及ML库
wishchinYang的专栏
10-27 1980
最近发现SciPy的最高版本是3.2，只能是退而求其次，不使用最新版本了！！！
R语言中的分类混淆矩阵与confusionMatrix函数
HackSquad的博客
08-26 220
混淆矩阵的主要部分是一个二维表格，其中行表示预测的类别，列表示实际的类别。例如，在上述示例中，模型将1个样本预测为类别A，2个样本预测为类别B，以及2个样本预测为类别A。它提供了丰富的统计指标，帮助我们评估模型的性能并做出相应的改进。通过分析混淆矩阵，我们可以更好地理解模型的预测结果，并针对性地优化分类模型。它可以显示模型在不同类别上的预测结果与真实标签之间的关系，帮助我们了解模型的准确性和错误类型。通过分析分类混淆矩阵，我们可以识别出模型在某些类别上的表现较好或较差，从而针对性地优化模型或调整阈值。
R语言中的confusionMatrix函数用于输出分类混淆矩阵
TechChamp的博客
08-25 154
对角线上的数字表示模型正确预测的样本数量，而其他位置的数字表示模型错误预测的样本数量。在本例中，模型正确预测了1个“Cat”样本和2个“Dog”样本，但错误预测了1个“Cat”样本和2个“Dog”样本。在本文中，我们将详细介绍confusionMatrix函数的用法，并提供相应的源代码示例。总结而言，R语言中的confusionMatrix函数是一个方便实用的工具，用于计算分类混淆矩阵和评估模型性能。通过混淆矩阵和相关统计指标，我们可以更好地理解模型在不同类别上的分类表现，并进行合理的模型选择和调优。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shiter

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值