MapReduce多重MR如何实现

本文介绍了Hadoop MapReduce作业管理中的两个实用技巧:一是如何通过判断并删除输出目录避免重复输出;二是如何通过设置临时目录来实现多阶段MapReduce作业的连续处理,确保数据处理流程高效且有序。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、每次输出文件存在很烦人

// 判断output文件夹是否存在,如果存在则删除  
        Path path = new Path(otherArgs[1]);// 取第1个表示输出目录参数(第0个参数是输入目录)  
        FileSystem fileSystem = path.getFileSystem(conf);// 根据path找到这个文件  
        if (fileSystem.exists(path)) {  
            fileSystem.delete(path, true);// true的意思是,就算output有东西,也一带删除  
        }  

二、多重MR

    /设置第一轮MapReduce的相应处理类与输入输出  
        Job job1 = new Job(conf);  
        .
        .
        .
  
        // 定义一个临时目录,先将任务的输出结果写到临时目录中, 下一个job以临时目录为输入目录。  
        FileInputFormat.addInputPath(job1, new Path(otherArgs[0]));  
        Path tempDir = new Path("temp_"  
                + Integer.toString(new Random().nextInt(Integer.MAX_VALUE)));  
        FileOutputFormat.setOutputPath(job1, tempDir);  
  
        if (job1.waitForCompletion(true)) {//如果第一轮MapReduce完成再做这里的代码  
            Job job2 = new Job(conf);  
            FileInputFormat.addInputPath(job2, tempDir);  
            //设置第二轮MapReduce的相应处理类与输入输出  
            .
            .
            FileOutputFormat.setOutputPath(job2, new Path(otherArgs[1]));  
            
            FileSystem.get(conf).deleteOnExit(tempDir);//搞完删除刚刚的临时创建的输入目录  
            System.exit(job2.waitForCompletion(true) ? 0 : 1);  
        }          

  

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值