RDD用法与实例（七）：collect和take

最新推荐文章于 2025-03-11 22:25:11 发布

水母君98

最新推荐文章于 2025-03-11 22:25:11 发布

阅读量1.3k

点赞数

分类专栏：大数据基础文章标签： python spark 大数据

本文链接：https://blog.youkuaiyun.com/m0_37754282/article/details/108827065

版权

大数据基础专栏收录该内容

17 篇文章

订阅专栏

本文通过一个具体的示例展示了在Spark中使用take方法相较于collect方法的优势。当数据集的状态发生变化时，collect方法不会重新收集数据，这可能导致结果不符合预期。文章建议在实际应用中采用take方法来避免此类问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

有时候collect结果会很奇怪。尽量用take，因为collect不是很能总能很好的收集数据。
如下这个例子中，collect就有了明显的不正确结果。

A = sc.parallelize(range(10))

x = 5
B = A.filter(lambda z: z < x)
# B.cache()
B.unpersist()
print(B.take(10))
print(B.collect())
x = 3
print(B.take(10))
print(B.collect())
# collect() doesn't always re-collect data - bad design!
# Always use take() instead of collect()

[0, 1, 2, 3, 4]
[0, 1, 2, 3, 4]
[0, 1, 2]
[0, 1, 2, 3, 4]