Spark:任务中如何确定spark分区数、task数目、core个数、worker节点个数、excutor数量
先上图:
每一个过程的任务数,对应一个inputSplit1, Partition输入可能以多个文件的形式存储在HDFS上,每个File都包含了很多块,称为Block。
当Spark读取这些文件作为输入时,会根据具体数据格式对应的InputFormat进行解析,一般是将若干个Block合并成一个输入分片,称为InputSplit,注意InputSplit不能跨越文件。
随后将为这些...
转载
2020-04-30 09:27:44 ·
1117 阅读 ·
0 评论