Spark：获取dataframe某列最大值

最新推荐文章于 2024-07-18 06:25:49 发布

猫猫玩机器学习

最新推荐文章于 2024-07-18 06:25:49 发布

阅读量3.9k

点赞数 1

本文链接：https://blog.youkuaiyun.com/qq_22613769/article/details/119344068

版权

// 查询 df 中 "game_size"字段的最大值，同理可以查询其他的统计信息
scala> df.agg(max("game_size")).show
+--------------+
|max(game_size)|
+--------------+
|            99|

>df1.show()
+-----+--------------------+--------+----------+-----------+
|floor|           timestamp|     uid|         x|          y|
+-----+--------------------+--------+----------+-----------+
|    1|2014-07-19T16:00:...|600dfbe2| 103.79211|71.50419418|
|    1|2014-07-19T16:00:...|5e7b40e1| 110.33613|100.6828393|
|    1|2014-07-19T16:00:...|285d22e4|110.066315|86.48873585|
|    1|2014-07-19T16:00:...|74d917a1| 103.78499|71.45633073|

>row1 = df1.agg({"x": "max"}).collect()(0)
>print row1
Row(max(x)=110.33613)
>print row1["max(x)"]
110.33613