MapReduce实现分区详细过程

最新推荐文章于 2024-08-18 08:42:07 发布

幸运六叶草

最新推荐文章于 2024-08-18 08:42:07 发布

阅读量3.9k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/AnneQiQi/article/details/51868159

本文详细阐述了MapReduce中分区的实现过程，重点讲解了JobTracker的启动顺序，包括main方法、startTracker以及new JobTracker。在JobTracker的构造方法内，调度器和RPC服务器（interTrackerServer）被创建，允许TaskTracker通过RPC与其交互。TaskTracker的run方法触发offerService和transmitHeartBeat，将状态报告给JobTracker，接收JobTracker的指令进行任务分配。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.实现分区的步骤：
   1.1先分析一下具体的业务逻辑，确定大概有多少个分区
   1.2首先书写一个类，它要继承org.apache.hadoop.mapreduce.Partitioner这个类
   1.3重写public int getPartition这个方法，根据具体逻辑，读数据库或者配置返回相同的数字
   1.4在main方法中设置Partioner的类，job.setPartitionerClass(DataPartitioner.class);
   1.5设置Reducer的数量，job.setNumReduceTasks(6);

2.排序MR默认是按key2进行排序的，如果想自定义排序规则，被排序的对象要实现WritableComparable接口，在compareTo方法中实现排序规则，然后将这个对象当做k2，即可完成排序

3.combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。

4.MR启动流程
   start-mapred.sh --> hadoop-daemon.sh --> hadoop --> org.apache.hadoop.mapred.JobTracker

Jobtracker调用顺序：main --> startTracker --> new JobTracker