mapreduce程序中避免reduce输出空文件

最新推荐文章于 2024-05-04 22:53:57 发布
最新推荐文章于 2024-05-04 22:53:57 发布
阅读量8.3k 收藏 7
点赞数 1
CC 4.0 BY-SA版权
分类专栏： MapReduce Hadoop从入门到放弃 文章标签： mapreduce 
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wisgood/article/details/80251120
探讨了MapReduce中reduce任务生成空文件的问题及其带来的负面影响，例如增加NameNode负担和浪费计算资源等，并介绍了如何通过使用LazyOutputFormat来避免生成空文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在mapreduce里，如果某个reduce输出为空，默认也会生成一个大小为0的文件。原因是reduce写的时候，不知道会不会有输出数据，所以默认初始化了一个文件。如果没有输出，close文件最终会生成一个空文件。如下。有几个缺点：
1）生成的很多小文件，对namenode形成一定压力
2）生成的数据下个阶段处理的时候，这些空的文件会浪费掉一些计算资源。
3）看着不爽

-rw-r--r--   3 hadoop supergroup          0 2018-05-09 10:38 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/_SUCCESS
drwxr-xr-x   - hadoop supergroup          0 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/_temporary
-rw-r--r--   3 hadoop supergroup     290779 2018-05-09 10:37 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00000
-rw-r--r--   3 hadoop supergroup     102365 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00001
-rw-r--r--   3 hadoop supergroup     210493 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00002
-rw-r--r--   3 hadoop supergroup     194585 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00003
-rw-r--r--   3 hadoop supergroup      97649 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00004
-rw-r--r--   3 hadoop supergroup          0 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00005
-rw-r--r--   3 hadoop supergroup      74188 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00006
-rw-r--r--   3 hadoop supergroup      61837 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00007
-rw-r--r--   3 hadoop supergroup     254879 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00008
-rw-r--r--   3 hadoop supergroup       6061 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00009
-rw-r--r--   3 hadoop supergroup          0 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00010
-rw-r--r--   3 hadoop supergroup     126900 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00011
-rw-r--r--   3 hadoop supergroup       3623 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00012
-rw-r--r--   3 hadoop supergroup      75816 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00013
-rw-r--r--   3 hadoop supergroup     358310 2018-05-09 10:38 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00014
-rw-r--r--   3 hadoop supergroup     115713 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00015
-rw-r--r--   3 hadoop supergroup      90556 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00016
-rw-r--r--   3 hadoop supergroup     150605 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00017
-rw-r--r--   3 hadoop supergroup          0 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00018
-rw-r--r--   3 hadoop supergroup      54610 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00019
-rw-r--r--   3 hadoop supergroup     163868 2018-05-09 10:36 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00020

解决办法很简单，使用LazyOutputFormat，从名字能看出，这个是lazy的outputformat。只有真正有数据要输出的时候，才会初始化一个hdfs上的文件，避免了形成空文件。
使用方式如下

//导入jar包
import org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat;
//使用LazyOutputFormat
LazyOutputFormat.setOutputFormatClass(job, TextOutputFormat.class);

重跑下数据，现在ok了，空文件都没有了，如下 

-rw-r--r--   3 hadoop supergroup          0 2018-05-09 11:04 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/_SUCCESS
drwxr-xr-x   - hadoop supergroup          0 2018-05-09 11:03 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/_temporary
-rw-r--r--   3 hadoop supergroup     307566 2018-05-09 11:03 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00000
-rw-r--r--   3 hadoop supergroup     101794 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00001
-rw-r--r--   3 hadoop supergroup     219026 2018-05-09 11:03 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00002
-rw-r--r--   3 hadoop supergroup     195994 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00003
-rw-r--r--   3 hadoop supergroup     101289 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00004
-rw-r--r--   3 hadoop supergroup      73074 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00006
-rw-r--r--   3 hadoop supergroup      60595 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00007
-rw-r--r--   3 hadoop supergroup     258069 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00008
-rw-r--r--   3 hadoop supergroup       6061 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00009
-rw-r--r--   3 hadoop supergroup     127131 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00011
-rw-r--r--   3 hadoop supergroup       3623 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00012
-rw-r--r--   3 hadoop supergroup      75725 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00013
-rw-r--r--   3 hadoop supergroup     366958 2018-05-09 11:04 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00014
-rw-r--r--   3 hadoop supergroup     113457 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00015
-rw-r--r--   3 hadoop supergroup      87421 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00016
-rw-r--r--   3 hadoop supergroup     148302 2018-05-09 11:03 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00017
-rw-r--r--   3 hadoop supergroup      54856 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00019
-rw-r--r--   3 hadoop supergroup     162752 2018-05-09 11:02 /home/hadoop/offline/js_ad/daily_ad_url/2018-05-08/part-r-00020
Hadoop3中实现MapReduce自定义OutputFormat
QYHuiiQ
07-29 459
在这个案例中我们想要实现的是，对于一个订单文件中的订单数据进行过滤，将订单中的不同类别商品输出到不同的文件中，这里与分区不同的是，分区无法指定写入的输出文件名，而这里我们可以指定水果放在fruit.txt中，冷冻食品放到frozen.txt中，蔬菜放到vegetable.txt中。虽然说我们需要自定义OutputFormat去实现输出类，但真正写数据的实现是由RecordWriter完成的，素以我们需要自定义一个类去实现RecordWriter中的方法。这样就简单地实现了自定义OutputFormat。..
MapReduce程序的数据分发与任务调度
AI天才研究院
06-29 1103
MapReduce程序的数据分发与任务调度 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大数据处理，数据并行计算，分布式系统，Hadoop生态系统，数据分片，任务分配 1.背景介绍
MapReduce没有输出，得到一个空的文件夹可能的原因
Lucky小黄人的博客
05-24 6498
1. Map输出类型和Reducer的输入类型对不上 注意： 当Mapper的输出类型和Reducer的输出类型是一样的时候，可以仅设置Reducer的输出类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); 当时当当Mapper的输出类型和Reducer的输出类型是一样的时候，除了设置R...
Hadoop：mapreduce程序reduce输出控制
Turk的专栏
11-20 711
1，在Hadoop中，reduce支持多个输出,输出的文件名也是可控的，就是继承MultipleTextOutputFormat类，重写generateFileNameForKey方法 [java] public class LzoHandleLogMr extends Configured implements Tool {         static class 
element ui的分页出现reduce为空
weixin_55582221的博客
01-03 170
我想要的效果是这样的，但是复制了官方文档后发现只显示一页 page-size是指一个页面上有几条数据 total是指总共有多条数据，同时也指的是左下角的一共多少条数据，这两个参数必须都得有配置，要不然显示会有问题。 ...
LazyMapReduce
weixin_30908941的博客
06-06 172
两种LazyMapReduce实现方法对比： 1 import org.apache.hadoop.conf.Configuration; 2 import org.apache.hadoop.util.GenericOptionsParser; 3 import org.apache.hadoop.mapreduce.Job; 4 import org.apache.hado...
使用Eclipse编译运行MapReduce程序
yruisa的博客
01-05 1380
使用Eclipse编译运行MapReduce程序 1. Hadoop的搭建 创建hadoop用户 如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。 首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 : sudo useradd -m hadoop -s /bin/bash Shell 命令 这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。 接着使用如下命令设置密码，可简单设置为 had
调用MapReduce对文件中各个单词出现次数进行统计
weixin_49230161的博客
06-09 2029
调用MapReduce对文件中各个单词出现次数进行统计一、安装Linux二、准备工作2.1 创建Hadoop账户2.2 更新apt2.3 安装vim2.4 配置SSH三、安装Java3.1 安装JDK3.2 设置JAVA环境变量四、安装Hadoop4.1 配置环境变量和进行伪分布式操作4.2 格式化 NameNode4.3 开启NameNode和DataNode守护进程4.4 校验安装五、调用MapReduce执行WordCount对单词进行计数5.1 准备工作（确保安装好eclipse和下载好hadoop
【Python】基于Python的MapReduce
Ctrl + C / Ctrl + V 人生
05-04 1238
针对在100GB级别的大型文件中进行数据检索，使用MapReduce解决内存占用过高、IO效率低下等问题
大数据学习教程SD版第四篇【Hadoop MapReduce】
爱程序，爱生活
12-08 423
大数据 Hadoop MapReduce 分布式计算框架
避免恼人的空值之reduce
weixin_34397291的博客
01-20 1465
在平时的项目里，相信不少小伙伴应该都会碰到 Uncaught TypeError: Cannot read property 'name' of undefined 这种错误吧？按照正常的简约写法，直接获取嵌套属性的值，一旦中间甚至刚开始的某个值就是 undefined，控制台会报错，渲染模板也会直接失败。那么，有没有方法可以避免这种情况的发生呢？ 最笨的逐级&& 为了避免...
MapReduce自定义文件输出名
小强签名设计 的博客
10-17 1693
前言： MapReduce默认情况下，一个reducer产生一个文件，以name-r-nnnnn来命名，其中默认的name为part，nnnnn从(00000开始递增)，保证了每个reducer不会产生重复的文件。   一、仅替代文件名part，输出结果为score-r-00000 1.使用org.apache.hadoop.mapreduce.lib.output.MultipleOu...
Hadoop MapReduce 修改输出文件名 MultipleOutputs
架构师思考实践
07-07 2540
需求：修改mapreduce的输出文件名称 为自己想要的名字 工具：MultipleOutputs 默认文件名：part-r-xxx 或者000178_0 修改后为： 自定义名字-r-xxx 后边的r-xxx还没有去掉 主要流程： 声明 multipleOutputs 在setup方法中初始化 在reduce方法中调用 public voidwrite(KEYOUT key, VALUEOUT value, String baseOutputPath) 在cleanup放中close
避免reduce输出为空文件的LazyOutputFormat
weixin_33980459的博客
08-18 673
林子大了，什么鸟都有，hadoop集群大了，什么job都有。经常在hadoop集群里发现HDFS中有老多长度为0的part-000XX的文件，一看就知道是job的reduce产生的输出文件，但是由于job做partition时由于分桶函数不够优，或数据本身的偏移比较厉害，而且开发job的人又没有进行这种情况进行处理的经验，于是某些reduce上没有分到任何的数据，成了“空桶”...
Hadoop系列-MapReduce工作原理详解（十二）
Toby的博客
11-22 2785
MapReduce工作原理详解，包括mapper、reducer、键值对、InputFormat \outputFormat、InputSplit、RecordReader、partitioner、shuffle
hadoop编程小技巧（7）---自定义输出文件格式以及输出到不同目录
fansy1990的专栏
07-24 6533
代码测试环境：Hadoop2.4应用场景：当需要定制输出数据格式时可以采用此技巧，包括定制输出数据的展现形式，输出路径，输出文件名称等。Hadoop内置的输出文件格式有：1）FileOutputFormat  常用的父类；2）TextOutputFormat 默认输出字符串输出格式；3）SequenceFileOutputFormat 序列化文件输出；4）MultipleOutputs 可以把输出
java笔记_2
mr_zhangs的博客
10-17 1048
java Stream流Stream流的的方法：迭代与排序、映射（map）/* * 筛选切片 * filter * limit * skip * distinct * filter(Predicatep)接收Lambda ，从流中排除某些元素。 distinct()筛选，通过流所生成元素的hashCode() 和equal
Hadoop（21）：MapReduce开发过程中常见错误及解决方案
yang_shibiao的博客
05-03 2263
目录 0. 相关文章链接 1. 导包出错 2. 输入参数 3. java.lang.Exception: java.io.IOException: Illegal partition for 13926435656 (4) 4. 是否执行分区过程 5. windows和Linux环境冲突 6.找不到文件异常 7.报类型转换异常 8.集群中运行wc.jar时出现了无法获得输入文件 9.出现了如下相关异常 10.输出的文件内容中数据为空 0. 相关文章链接 Hadoop 文章...
MapReduce 程序编写运行
最新发布
06-06
<think>嗯，用户想了解如何编写和运行MapReduce程序。这是一个非常实用的技术需求，特别是对于处理大数据的开发者。我可以根据之前的系统级引用和标准MapReduce知识来组织回答。用户提到的引用[1]关于MRJob工具特别值得展开，因为它提供了本地调试的轻量级解决方案。引用[2][3]提到的IDEA配置细节也很关键，这些是实际开发中最常遇到的痛点。准备从三个核心部分来回应：首先是基本程序结构，要强调Mapper和Reducer的抽象关系；然后是运行方式的比较说明；最后是开发环境配置的具体技巧。对于每个要点，都应该给出具体示例和配置说明，比如Python的MRJob示例和Java的IDEA配置要点。用户看起来像是有编程基础的开发者，可能会在意实际配置细节，所以需要详细说明mapred-site.xml等配置文件的修改位置。同时要注意Hadoop环境差异的提示，这能帮助避免兼容性问题。考虑在最后添加常见问题部分，因为运行环境搭建往往充满陷阱，Hadoop版本冲突等问题可以帮助用户少走弯路。如果能提供可运行的Python代码示例就更好了，这样用户可以直接复制测试。</think> 编写和运行MapReduce程序主要分为以下步骤（以**Java + Hadoop 3.x**为例）： --- ### 一、编写MapReduce程序 #### 1. **程序结构** ```java public class WordCount { // Mapper类 public static class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable> { @Override public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { context.write(new Text(itr.nextToken()), new IntWritable(1)); } } } // Reducer类 public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> { @Override public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) sum += val.get(); context.write(key, new IntWritable(sum)); } } // 主函数 public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` --- ### 二、运行方式 #### 1. **本地模式调试** ```bash # 设置Hadoop为本地模式 export HADOOP_CONF_DIR=/path/to/empty_conf_dir # 清空配置指向 # 直接运行Java程序 (需包含hadoop依赖) java -classpath hadoop-classpath:your.jar WordCount input.txt output ``` #### 2. **使用MRJob (Python版快速开发)** ```python # word_count.py from mrjob.job import MRJob class MRWordCount(MRJob): def mapper(self, _, line): for word in line.split(): yield word, 1 def reducer(self, word, counts): yield word, sum(counts) if __name__ == '__main__': MRWordCount.run() ``` 运行命令： ```bash python word_count.py -r local input.txt > output.txt # 本地测试[^1] ``` #### 3. **集群模式运行** ```bash # 打包程序为JAR mvn package # Maven项目 # 提交到Hadoop集群 hadoop jar target/your-app.jar WordCount /hdfs/input /hdfs/output ``` --- ### 三、开发环境配置（IDEA） 1. **关键配置项**： ```xml <!-- mapred-site.xml 示例配置 --> <property> <name>mapreduce.job.jar</name> <value>D:\project\target\your-app.jar</value> <!-- JAR包路径 --> </property> <property> <name>mapreduce.app-submission.cross-platform</name> <value>true</value> <!-- 跨平台支持[^2] --> </property> ``` 2. **Log4j日志输出配置**（调试用）： ```properties log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5p | %-16t | %-32c{1} | %4L | %m%n[^3] ``` --- ### 四、连接HDFS ```java // Java连接HDFS示例 Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://namenode:9000"); FileSystem fs = FileSystem.get(conf); // 读写操作 fs.copyFromLocalFile(new Path("local.txt"), new Path("/hdfs/dir")); ``` --- **常见问题解决**： - **ClassNotFoundException**：确保`mapreduce.job.jar`指向正确JAR - **跨平台错误**：启用`mapreduce.app-submission.cross-platform` - **权限问题**：配置`core-site.xml`中的HDFS用户 - **Python依赖**：使用`virtualenv`安装`mrjob`包 > **注意**：Hadoop 2.x/3.x配置差异较大，需核对版本文档。实际提交时建议通过`hadoop classpath`获取依赖路径[^2][^3]。 --- **
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值