Spark查找dataframe某列最大值

初学者分享如何在Spark DataFrame中查找某列的最大值,对比Python的便捷性,介绍了通过转化为视图并使用SQL查询的方法,该方法同样适用于寻找其他特征值。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

初学Spark,dataframe的很多操作不如Python灵动。

比如,取某一列最大值的操作,在python中直接如下操作即可,简单方便

`max(df["A"].unique())`

查了很多scala中的操作,选择了一种相对比较简单的方式。首先将dataframe转化成视图,并通过sql的方式找到最大值。

df.createOrReplaceTempView("TEMP_DF")

val date = sqlContext.sql("SELECT MAX(statis_date) as maxval FROM TEMP_DF").
              collect()(0).getString(0)

找寻某列的其他特征值也可以通过这种方式进行。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值