Spark Transformations之mapValues

最新推荐文章于 2025-06-08 17:17:52 发布

weixin_34114823

最新推荐文章于 2025-06-08 17:17:52 发布

阅读量250

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 python

原文链接：https://my.oschina.net/forrest420/blog/470404

本文深入探讨了在Spark RDD中使用mapValues函数的原理及应用实例，通过具体代码展示如何对键值对集合进行操作，实现数据转换。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

mapValues

mapValues顾名思义就是输入函数应用于RDD中Kev-Value的Value，原RDD中的Key保持不变，与新的Value一起组成新的RDD中的元素。因此，该函数只适用于元素为KV对的RDD。

举例：

scala> val a = sc.parallelize(List("dog", "tiger", "lion", "cat", "panther", " eagle"), 2)
scala> val b = a.map(x => (x.length, x))
scala> b.mapValues("x" + _ + "x").collect
res5: Array[(Int, String)] = Array((3,xdogx), (5,xtigerx), (4,xlionx),(3,xcatx), (7,xpantherx), (5,xeaglex))

转载于:https://my.oschina.net/forrest420/blog/470404