- 博客(1)
- 收藏
- 关注
RSS订阅转载 Spark：任务中如何确定spark分区数、task数目、core个数、worker节点个数、excutor数量
先上图：每一个过程的任务数，对应一个inputSplit1, Partition输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件。随后将为这些...
2020-04-30 09:27:44
1110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人