Spark scala groupBy后求和

最新推荐文章于 2025-04-27 15:05:54 发布

原创最新推荐文章于 2025-04-27 15:05:54 发布 · 100 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #scala #ajax #大数据 #分布式

这篇文章展示了如何使用Apache Spark SQL对球员进球数据进行聚合，计算Messi和Pele各自的总进球数。通过groupBy和agg函数，我们得出Messi进了3球，Pele进了4球的结果。

val goalsDF = Seq(
  ("messi", 2),
  ("messi", 1),
  ("pele", 3),
  ("pele", 1)
).toDF("name", "goals")

goalsDF.show()

+-----+-----+
| name|goals|
+-----+-----+
|messi|    2|
|messi|    1|
| pele|    3|
| pele|    1|
+-----+-----+

import org.apache.spark.sql.functions._

goalsDF
  .groupBy("name")
  .agg(sum("goals"))
  .show()
+-----+----------+
| name|sum(goals)|
+-----+----------+
| pele|         4|
|messi|         3|
+-----+----------+

转自:https://mungingdata.com/apache-spark/aggregations/