超级会员免费看
RDD：resilient弹性，可复原的
Distributed 分布式
Datasets 数据集
RDD的算子分为两类：一类叫Transformation,一类叫action.
Transformation是懒的，action是立即执行的。
如果我们向通过并行化的方式来创建RDD则，分区的数量与分配的核数有关：
启动的时候指定核数为5
以并行的方式创建RDD，保存到Hdfs
出现了5个分区
我们还可以通过rdd1.partitions.length来查看分区数量：
这篇博客深入探讨了RDD（弹性分布式数据集），它是大数据处理中的关键概念。介绍了RDD的分布式、可复原特性，以及Transformation和Action两类操作。Transformation是延迟执行的，而Action会触发计算。RDD的分区设计考虑了资源利用效率。创建RDD时，分区数可以根据需求设定。从HDFS读取数据时，分区数与文件切片相关。博客还详细讨论了如并集、交集、join、左外连接、groupByKey和reduceByKey等操作，并建议在WordCount场景中使用reduceByKey以提高效率。最后，展示了不同Action如何用于输出结果，如获取最大值、前N个元素、排序和遍历打印。
订阅专栏 解锁全文
扫一扫
817
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
