hadoop MultipleOutputs规定多文件名

最新推荐文章于 2019-10-17 22:28:20 发布

原创最新推荐文章于 2019-10-17 22:28:20 发布 · 118 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #MultipleOutputs

hadoop 专栏收录该内容

43 篇文章

订阅专栏

本文介绍了如何在MapReduce中实现多个输出的方法。具体步骤包括：首先，在configure或setup方法中初始化输出；其次，在mapper或reducer中使用MultipleOutputs获取指定前缀和分区的输出收集器；最后，在close方法中关闭MultipleOutputs确保所有数据被正确写出。

在map或reduce中

1.初始化在configure或setup方法中

MultipleOutputs.addMultiNamedOutput(conf, "prefix", TextOutputFormat.class, Text.class, Text.class);
multipleOutputs = new MultipleOutputs(conf);

2.在mapper或reducer中

OutputCollector<NullWritable,Text> collector = multipleOutputs.getCollector("prefix-", "partition1", reporter);

3.在close方法中

multipleOutputs.close();

这样这个reduce输出的文件名为prefix-partition1-00000

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

blackproof

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hadoop 多文件输出 MultipleOutputFormat

SmartSi

07-23

510

FileOutputFormat 及其子类产生的文件放在输出目录下。一个 reducer 就会输出一个文件，文件名称的输出格式为 name-r-nnnnn，例如 part-r-00000： name 是由程序设定的任意名字，默认为 partnnnnn 是一个指名块号的整数（从0开始）。块号保证从不同块（mapper 或者 reducer）写的输出在相同名字情况下不会冲突。有时可能要对输出的文件名进行控制或让每个 reducer 输出多个文件。MapReduce 为此提供了 MultipleOutputF

MapReduce处理输出多文件格式(MultipleOutputs)

shujuboke的博客

08-15

2378

MultiPleOutputs原理 MapReduce job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如part-(m|r)-00000之类，但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。以前常用的方法是在MR job运行之后，用脚本对目录下的

参与评论您还未登录，请先登录后发表或查看评论

案例十二：多文件输出MultipleOutputs

yoghurt

10-06

578

案例十二：多文件输出MultipleOutputs 好几天没写什么了，今天写点工作当中比较常用的东西吧--MultipleOutputs 多路径输出，这个用的也比较多，比如可以输出分区的数据，方便hive里建表，也可以分类数据，都比较方便了。下篇再说一下多格式输出。主要用到MultipleOutputs这个类。直接上代码。先贴一下数据

Hadoop 中获取输入文件名

架构师思考实践

04-09

2549

旧API 获取输入路径 String path=((FileSplit)reporter.getInputSplit()).getPath().toString(); 新API 获取文件名 InputSplit inputSplit = context.getInputSplit(); String fileName = ((FileSplit) inputSplit)

Webpack之输出(Output)学习笔记（3）

我是希希呀的博客

09-26

3011

即使可以存在多个入口起点，但只指定一个输出配置。用法在webpack配置output属性的最低要求是，将它的值设置为一个对象，包括以下两点： filename用于输出文件的文件名 目标输出目录path的绝对路径 //webpack.config.js const config = { output: { filename: 'bundle.js', path: '/home/p

Hadoop使用MultipleOutputs输出多文件或者指定命名

jediael_lu的专栏

08-03

1305

Hadoop使用MultipleOutputs输出多文件或者指定命名@(HADOOP)[hadoop]（一）输出多文件（未测试）比如将不同国家的信息分别输出到一份对应的文件中。1、在reduce或map类中创建MultipleOutputs对象，将结果输出class reduceStatistics extends Reducer<Text, IntWritable, Text, IntWritab

Hadoop MultipleOutputs输出到多个文件中的实现方法

08-29

Hadoop MultipleOutputs输出到多个文件中的实现方法 Hadoop MultipleOutputs是Hadoop MapReduce框架中的一种输出机制，可以将输出写入到多个文件中。下面将详细介绍Hadoop MultipleOutputs输出到多个文件中的实现...

Hadoop MapReduce多输出详细介绍

09-30

在使用MapReduce框架时，经常需要处理输出数据，这时可能会遇到需要将输出分散到多个文件中的需求，这就是Hadoop MapReduce多输出功能的用途。Hadoop MapReduce多输出的功能主要由MultipleOutputFormat类及其相关类...

Hadoop 实例16-----MultipleOutputs实战：结果输出到多个文件夹或者文件中

陈先森~

09-10

4834

1.输出到多个文件或多个文件夹：驱动中不需要额外改变，只需要在MapClass或Reduce类中加入如下代码private MultipleOutputs<Text,IntWritable> mos; public void setup(Context context) throws IOException,InterruptedException { 　　mos = new MultipleO

Hadoop多文件输出之MultipleOutputFormat和MultipleOutputs

lavimer

01-26

2813

直到目前，我们看到的所有MapReduce作业都输出一组文件。但是，在一些场合下，经常要求我们输出多组文件或者把一个数据集分为多个数据集更为方便；比如将一个log里面属于不同业务线的日志分开来输出，并且交给相关的业务线。用过旧API的人应该知道，旧API中有org.apache.hadoop.mapred.lib.MultipleOutputFormat和org.apache.hadoop.m

Hadoop控制输出文件命名

坐禅小和尚的专栏

04-07

9425

Hadoop 控制输出文件命名在一般情况下，Hadoop 每一个 Reducer 产生一个输出文件，文件以 part-r-00000、part-r-00001 的方式进行命名。如果需要人为的控制输出文件的命名或者每一个 Reducer 需要写出多个输出文件时，可以采用 MultipleOutputs 类来完成。MultipleOutputs 采用输出记录的键值对（output Key

利用MultipleOutputs控制reduce输出路径

04-20

1127

package com.mr.test; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apa

MapReduce自定义文件输出名

小强签名设计的博客

10-17

1732

前言： MapReduce默认情况下，一个reducer产生一个文件，以name-r-nnnnn来命名，其中默认的name为part，nnnnn从(00000开始递增)，保证了每个reducer不会产生重复的文件。一、仅替代文件名part，输出结果为score-r-00000 1.使用org.apache.hadoop.mapreduce.lib.output.MultipleOu...

MultipleOutputs实战：结果输出到多个文件夹或者文件中

小太阳~

07-19

483

转载链接： http://blog.youkuaiyun.com/garychenqin/article/details/48339327（在原文基础上增加了代码分析、执行和结果） 1、原理技术输出到多个文件或多个文件夹，驱动中不需要额外改变，只需要在MapClass或Reduce类中加入如下代码： private MultipleOutputs mos; public void set

hadoop secondnamenode配置

02-28

879

ta. The current design allows only one Secondary Namenode per HDFs cluster. The Secondary Namenode is a daemon that periodically wakes up (determined by the schedule specified in the configuration), triggers a periodic checkpoint and then goes ba

hadoop 报错 org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException

09-26

784

打开文件最大限制 echo "fs.file-max = 65535" >> /etc/sysctl.conf echo "* - nofile 65535" >> /etc/security/limits.conf sysctl -p ulimit -n 修改hadoop配置 vi hdfs-site.xml <property> <name

hadoop namenode报错

06-06

332

version -18.An upgrade to version -32 is required. 解决方法：start-dfs.sh -upgrade 运行此命令，去升级namenode的fimage

hadoop报错

05-25

330

Shell脚本助力Hadoop环境实现多用户配置

在本部分中，我们将深入探讨标题“用shell脚本实现hadoop多用户配置”中所蕴含的IT知识点。首先，我们会对Hadoop多用户环境的基础知识进行说明，随后将解释shell脚本的作用以及如何利用shell脚本实现Hadoop的多用户...