spark计算dataframe中两列的相关系数

最新推荐文章于 2024-07-29 02:35:25 发布

数据拾光者

最新推荐文章于 2024-07-29 02:35:25 发布

阅读量5.6k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/abc50319/article/details/97683819

机器学习专栏收录该内容

57 篇文章

订阅专栏

本文介绍如何使用Apache Spark的MLlib库计算两组数据之间的皮尔森和斯皮尔曼相关系数，通过具体代码示例展示了如何从数据集中提取特征并进行相关性分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景：现在有张表，表中数据 imei，height，weight。计算weight和height的相关性：

# 皮尔森、斯皮尔曼(pearson spearman)计算相关系数
import org.apache.spark.mllib.stat.Statistics
val df1 = sql("""
select new_rank_level,old_rank_level
from ad_tmp.xxx
""")
val df_real = df1.select("old_rank_level","new_rank_level")
val rdd_real = df_real.rdd.map(x=>(x(0).toString.toDouble ,x(1).toString.toDouble ))
val label = rdd_real.map(x=>x._1.toDouble )
val feature = rdd_real.map(x=>x._2.toDouble )

val cor_pearson:Double = Statistics.corr(label, feature, "pearson")
println(cor_pearson)
0.23997483383749665 

val cor_spearman:Double = Statistics.corr(label, feature, "spearman")
println(cor_spearman)
cor_spearman: Double = 0.23997567905723607