Spark:在Spark集群中,集群的节点个数、RDD分区个数、cpu内核个数三者与并行度的关系??
梳理一下Spark中关于并发度涉及的几个概念File,Block,Split,Task,Partition,RDD以及节点数、Executor数、core数目关系系。输入可能以多个文件的形式存储在HDFS上,每个File都包含了很多块,称为Block。当Spark读取这些文件作为输入时,会根据具体数据格式对应的InputFormat进行解析,一般是将若干个Block合并成一个输入分片,...
转载
2019-08-06 10:13:13 ·
694 阅读 ·
0 评论