案例十二：多文件输出MultipleOutputs

最新推荐文章于 2021-02-13 20:33:36 发布
最新推荐文章于 2021-02-13 20:33:36 发布
阅读量563 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： mapreduce HDFS hadoop 文章标签： mapreduce 多格式输出
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yoghurt2016/article/details/52745350
本文介绍Hadoop中MultipleOutputs的应用实例，通过该方法可实现数据的多路径及分类输出，便于后续处理如Hive表构建等。文章通过具体代码展示了如何根据数据特点进行有效的文件分类。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

案例十二：多文件输出MultipleOutputs


好几天没写什么了，今天写点工作当中比较常用的东西吧--MultipleOutputs

多路径输出，这个用的也比较多，比如可以输出分区的数据，方便hive里建表，

也可以分类数据，都比较方便了。

下篇再说一下多格式输出。主要用到MultipleOutputs这个类。直接上代码。大笑大笑大笑



先贴一下数据的样式：

asd 126 com
wer 163 com
ewyrophwwq 126 com
asdh 126 com
214 163 com
asfdj 114 com
45dsf 163 com
hadsfl 126 com
hdsla 163 com
po80 114 com
uopr 163 com
hfreih 178 com
hfs 126 com
hfsl 178 com
fdhs 126 com
ahdfl 163 com
afjkdsl 189 com










结果就如下面：

按照key值进行分类，分文件了


Hadoop 多文件输出 MultipleOutputFormat
SmartSi
07-23 462
FileOutputFormat 及其子类产生的文件放在输出目录下。一个 reducer 就会输出一个文件，文件名称的输出格式为 name-r-nnnnn，例如 part-r-00000： name 是由程序设定的任意名字，默认为 partnnnnn 是一个指名块号的整数（从0开始）。块号保证从不同块（mapper 或者 reducer）写的输出在相同名字情况下不会冲突。 有时可能要对输出的文件名进行控制或让每个 reducer 输出多个文件。MapReduce 为此提供了 MultipleOutputF
大数据学习笔记28：MR案例——多输出源处理成绩
howard2005的专栏
01-25 674
文章目录一、提出任务原始成绩数据任务1、不同学生成绩情况生成不同结果文件任务2、每个结果文件统计不同学生各科平均分二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目MultiOutScore4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建ScoreMapper2、创建ScoreReducer3、创建ScoreDr...
MultipleOutputs---多文件输出
Jpday的专栏
05-07 565
package com.bj58.search.experience.searchcommunityname; import com.bj58.search.qa.contract.agent.IQAService; import com.bj58.search.qa.contract.entity.*; import com.bj58.spat.scf.client.SCFInit; imp...
java 流 压缩 开源_java将多个文件打包压缩成输出流并下载
weixin_30220993的博客
02-13 550
//将磁盘的多个文件打包成压缩包并输出流下载@GetMapping(value = "/download1")public void download1(HttpServletRequest request, HttpServletResponse response) throwsException {String outputFileName= "文件" + new SimpleDateForm...
MultipleOutputs in Hadoop
贾亮的专栏
09-21 197
MultipleOutputs，说白了就是你想在Reduce中，将结果写到不同的文件中去的时候，来用的。 看看Hadoop的官网的例子和解释： 我们的Driver代码中使用到了MultipleOutputs，并且配置了两个输出前缀，分别是seq额text。 Job job = new Job(); FileInputFormat.setInputPath(job, inDir); File...
Mapreduce多目录/多文件输出
freespace
08-28 670
Mapreduce多目录/多文件输出   一，介绍 1，旧API中有 org.apache.hadoop.mapred.lib.MultipleOutputFormat和org.apache.hadoop.mapred.lib.MultipleOutputs MultipleOutputFormat allowing to write the output data to differe...
Hadoop MultipleOutputs输出到多个文件中的实现方法
08-29
在上面的案例中，我们使用Hadoop MultipleOutputs输出到多个文件中，每个文件对应一个类目。这样，可以将输出结果按照类目分类，方便后续处理。 Hadoop MultipleOutputs输出到多个文件中的实现方法可以满足我们对...
MapReduce原理分析：自定义输出格式OutputFormat
机器熊的技术大杂烩
04-12 3009
输出格式OutputFormat 在MapReduce框架中，OutputFormat负责把Reducer处理完成的Key-Value写出到本地磁盘或HDFS上，默认计算结果会以part-000的命名输出成多个文件，并且输出的文件数量与Reduce数量一致。000是关联到某个Reduce任务的分区的id。 MapReduce中提供了多种输出格式，用户可以灵活的定义文件输出的路径、文件名、输出格式等...
（十）Mapper多输入源及Reduce多输出文件
qinshi965273101的专栏
12-04 964
目的 Mapper多个输入源，处理后变成一个输出。 reduce多输出源，根据输出的数据，按照自己的要求来决定，输出到不同的文件里。 案例 有以下两个文件，作为输入源（Mapper处理） 最后把每个人的成绩打印到不同的文件里（Reduce处理） tom math 90 english 98 jary math 78 english 87 rose math 87 english 90...
【MapReduce案例分析】：深入解析Reduce阶段的错误处理与调试
[【MapReduce案例分析】：深入解析Reduce阶段的错误处理与调试](https://i-blog.csdnimg.cn/direct/910b5d6bf0854b218502489fef2e29e0.png) # 1. MapReduce编程模型简介 MapReduce是一种分布式编程模型，用于处理和...
案例：多文件输出
weixin_42604344的博客
08-04 342
hello world Hello World 123nihao QQ 163.com @qq.com (123) &123 *abc hi gaoyuanyuan hello jiajingwen 单词首字母为a-z输出到一个文件中，并统计 单词首字母为A-Z输出到一个文件中，并统计 单词首字母为0-9输出到一个文件中，并统计 单词首字母为其他的输出到一个文件，并统计 案例代码： ...
MapReduce-多个输出(使用MultipleOutput，不指定reduce任务个数)
weixin_30617737的博客
08-26 296
多个输出 FileOutputFormat及其子类产生的文件放在输出目录下。每个reduce一个文件并且文件由分区号命名：part-r-00000,part-r-00001,等等。有时可能需要对输出的文件名进行控制或让每个reducer输出多个文件。MapReduce为此提供了MultipleOutputFormat类。 案例：数据分割 按气象站来区分气象数据。这需要运行一个作业，作业的输出...
MultipleOutputs实战：结果输出到多个文件夹或者文件中
小太阳~
07-19 3483
转载链接： http://blog.youkuaiyun.com/garychenqin/article/details/48339327（在原文基础上增加了代码分析、执行和结果） 1、原理技术 输出到多个文件或多个文件夹，驱动中不需要额外改变，只需要在MapClass或Reduce类中加入如下代码： private MultipleOutputs mos; public void setup(
Hadoop多文件输出之MultipleOutputFormat和MultipleOutputs
lavimer
01-26 2794
直到目前，我们看到的所有MapReduce作业都输出一组文件。但是，在一些场合下，经常要求我们输出多组文件或者把一个数据集分为多个数据集更为方便；比如将一个log里面属于不同业务线的日志分开来输出，并且交给相关的业务线。 用过旧API的人应该知道，旧API中有org.apache.hadoop.mapred.lib.MultipleOutputFormat和org.apache.hadoop.m
multipleOutputs Hadoop
weixin_30732825的博客
11-01 94
package org.lukey.hadoop.muloutput; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; ...
Hadoop多路径输出(MultipleOutputs)
coding笔记
11-16 1101
使用Hadoop进行数据处理时，有时候需要将计算结果根据不同的条件存入不同的分区。 比如：计算顾客是否回头购买的时候，会将回头了的顾客数据和未回头的顾客数据分别存入不同的表。 可以使用MultipleOutputs实现。 需要在reduce类中定义MultipleOutputs,并且重写Reducer的setup()方法和cleanup()方法。具体实例如下 public static c
Hadoop学习笔记———《MultipleOutputs———将结果输出到指定的多个文件或文件夹》
MJ
10-12 2473
在MapReduce中使用MultipleOutputs将结果输出到多个文件或文件夹 使用步骤主要有三步： 1、在reduce或map类中创建MultipleOutputs对象，将结果输出； class TestReducer extends Reducer{ //将结果输出到多个文件或多个文件夹 private MultipleOutputs mo
使用MultipleOutputs方法将mapreduce分组输出
端木胥的博客
05-13 296
使用MultipleOutputs方法将mapreduce分组输出 MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用通过使用Map和Reduce函数，再定义输入输出就能得到我们想要的结果。不过一般Map Reduce的输出只包含一个可视化输出文件（如下图part-r-00000文件），那么我们如果需要将这一个输出文件分为多个...
MR-2.输出格式（OutputFormat）Multiple outputs多目录输出
艾文
01-26 2653
Hadoop的输出格式和输入格式对应，这里仅列出基于OutputFormat的实现类如图所示： FileOutputFormat和他的子类可以输出一个文件目录，每个reducer都生成一个文件。文件的命名规则：part-r-xxxx。  但有时需要控制每个reducer输出不同格式的文件目录，可以使用MultipleOutputs多目录输出类。 多目录输出（Mu
LAMMPS案例分析教程：新手入门与in文件后处理
LAMMPS（Large-scale Atomic/Molecular Massively Parallel Simulator）是一个用于分子动力学模拟的软件包，广泛应用于材料科学、物理、化学和生物医学等多个领域的研究中。分子动力学模拟是一种利用计算机模拟物质...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值