MapReduce —— 驱动类 Driver

驱动类主要用于关联Mapper 和 Reducer 以及 提交整个程序。

具体代码如下:

//驱动类
public class FlowSumDriver {
 public static void main(String[] args){
  
  Configuration conf = new Configuration() ;
  // 1. 获取job对象
  Job job = Job.getInstance(conf);
  // 2. 设置Jar的路径
  job.setJarByClass(FlowSumDriver);  
  // 3. 关联 mapper 和 reducer 
  job.setMapperClass(FlowCountMapper.class;
  job.setReducerClass(FlowCountReducer.class;
  // 4. 设置 mapper 输出的key 和 value 类型
  job.setMapOutputKeyClass(Text.class);
  job.setMapOutputValueClass(FlowBean.class);
  // 5. 设置最终输出的key 和 value
  job.setOutputKeyClass(Text.class);
  job.setOutputValueClass(FlowBean.class);
  // 6. 设置输入输出路径
  FileInputFormat.setInputPaths(job,new Path("e:\Input"));
  FileOutputFormat.setOutputPath(job,new Path("e:\output"))
  // 7. 提交job
  boolean  result = job.waitForCompletion(true);
  System.exit(result?0:1);
  //如果result值为true 则为0,否则为1;
  //0时正常退出系统,非0代表异常退出;
  }
 }

驱动类总分七大步骤:

  1. 获取job对象
  2. 设置Jar的路径 (就是当前驱动类)
  3. 关联 mapper 和 reducer
  4. 设置 mapper 输出的key 和 value 类型
  5. 设置最终输出的key 和 value
  6. 设置输入输出路径(要读取的数据输入路径和输出数据的路径)
  7. 提交job

Mapper阶段代码
Reducer阶段代码

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值