spark groupByKey 也是可以filter的

weixin_33805557

于 2017-11-01 09:34:00 发布

阅读量89

点赞数

文章标签：大数据

通过使用Apache Spark对数据进行转换处理，演示了如何将一组字符串数据转换为键值对，并进一步筛选出出现频率超过两次的键。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

>>> v=sc.parallelize(["one", "two", "two", "three", "three", "three"])
>>> v2=v.map(lambda x: (x,1))
>>> v2.collect()
[('one', 1), ('two', 1), ('two', 1), ('three', 1), ('three', 1), ('three', 1)]  
>>> v3=v2.groupByKey()
>>> v3.collect()
[('one', <pyspark.resultiterable.ResultIterable object at 0x7fd3c7850e90>), ('two', <pyspark.resultiterable.ResultIterable object at 0x7fd3c7850f10>), ('three', <pyspark.resultiterable.ResultIterable object at 0x7fd3c6dc83d0>)]
>>> v4=v3.filter(lambda x:len(x[1].data)>2)
>>> v4.collect()
[('three', <pyspark.resultiterable.ResultIterable object at 0x7fd3c6dc8510>)]

过滤了出现次数大于2的结果。