Spark Scala当中reduce的用法和例子

最新推荐文章于 2024-07-18 06:19:34 发布

元始天尊6

最新推荐文章于 2024-07-18 06:19:34 发布

阅读量3.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark和Scala 文章标签：马克-to-win 马克java社区 Scala Spark Scala reduce

本文链接：https://blog.youkuaiyun.com/qq_44596980/article/details/93311547

Spark和Scala 专栏收录该内容

26 篇文章

订阅专栏

本文介绍了Spark Scala中reduce函数的使用。reduce函数会将RDD中元素前两个传给输入函数，产生新值后再与下一个元素组成两个元素继续传入函数，递归运作直到只剩一个值。还给出了使用reduce函数计算1到10求和的代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

马克-to-win @ 马克java社区：reduce将RDD中元素前两个传给输入函数，产生一个新的return值，将新产生的return值与RDD中下一个元素（即第三个元素）组成两个元素，再被传给输入函数，这样递归运作，直到最后只有一个值为止。*/
    val rdd07 = sc.parallelize(1 to 10)
    val sum = rdd07.reduce((x, y) => x + y)
    println("sum is " + sum)

版权保护，尊重原创，原文出处：http://www.mark-to-win.com/tutorial/mydb_SparkScala_SparkreduceUsage.html