lijian222491的博客

原创 Hive on Tez map阶段task划分源码分析（map task个数）

Hive on Tez中map task的划分逻辑在Tez源码中，总体实现逻辑如下：（1）Tez源码中实现map task划分的逻辑为TezSplitGrouper类；具体实现方法为getGroupedSplits；（2）Tez源码中对应该部分的单元测试类为TestGroupedSplits.java（3）选择单元测试中testRepeatableSplits进行单元测试；如下图：（4）该部分可以自由造数据，例如有多少个文件目录，filesplit目录、副本路径位置、文件的大小、机架等等；