Spark Scala当中reduce的用法和例子

最新推荐文章于 2024-07-18 06:19:34 发布

weixin_30341745

最新推荐文章于 2024-07-18 06:19:34 发布

阅读量209

点赞数

CC 4.0 BY-SA版权

文章标签： scala 大数据

原文链接：http://www.cnblogs.com/haima1949/p/11260079.html

本文深入解析了Apache Spark中RDD的reduce操作，通过实例演示了如何使用reduce函数对RDD中的元素进行聚合运算，最终得到单一结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

[学习笔记]

reduce将RDD中元素前两个传给输入函数，产生一个新的return值，将新产生的return值与RDD中下一个元素（即第三个元素）组成两个元素，再被传给输入函数，这样递归运作，直到最后只有一个值为止。*/
    val rdd07 = sc.parallelize(1 to 10)
    val sum = rdd07.reduce((x, y) => x + y)
    println("sum is " + sum)

文章转载自原文：https://blog.youkuaiyun.com/qq_44596980/article/details/93311547

转载于:https://www.cnblogs.com/haima1949/p/11260079.html